Bewertung der Zuverlässigkeit von Sprachmodellen in der Wissenschaft

Grosse Sprachmodelle (LLMs) werden immer häufiger in unserem Alltag genutzt. Sowohl Profis als auch Gelegenheitsnutzer verwenden sie für verschiedene Aufgaben. In diesem Papier schauen wir uns an, wie zuverlässig diese Modelle sind, wenn es darum geht, wissenschaftliche Ideen zu erklären und Fragen zur Wissenschaft zu beantworten. Wir haben einen neuen Datensatz namens SCiPS-QA erstellt, der 742 Ja/Nein-Fragen zu komplexen wissenschaftlichen Konzepten enthält. Das hilft uns zu sehen, wie gut diese Modelle wissenschaftliche Fragen verstehen und beantworten können.

#Hintergrund zu LLMs

LLMs sind Computerprogramme, die lesen und schreiben können wie Menschen. Sie können Texte basierend auf Mustern erzeugen, die sie aus grossen Datenmengen lernen. Mit den Fortschritten in der Technologie nutzen immer mehr Menschen LLMs in verschiedenen Bereichen, besonders in der Wissenschaft. Allerdings gab es Fälle, in denen LLMs irreführende oder falsche Informationen generierten, besonders in wissenschaftlichen Arbeiten. Das wirft Bedenken hinsichtlich ihrer Zuverlässigkeit auf und ob sie als vertrauenswürdige Informationsquellen dienen können.

#Der Bedarf an Evaluierung

Die Evaluierung von LLMs ist entscheidend, besonders in der Wissenschaft. Irreführende Informationen können zu Missverständnissen in wissenschaftlichen Konzepten führen. Ausserdem erzeugen LLMs oft selbstbewusste, aber falsche Antworten, was die Nutzer in die Irre führen kann. Daher brauchen wir eine Methode, um zu bewerten, wie gut diese Modelle komplexes wissenschaftliches Wissen verstehen.

#SCiPS-QA Datensatz

Der SCiPS-QA-Datensatz wurde entwickelt, um LLMs mit komplexen Ja/Nein-Wissenschaftsfragen herauszufordern. Die Fragen decken verschiedene wissenschaftliche Disziplinen ab, darunter Physik, Chemie, Mathematik und mehr. Er besteht aus geschlossenen Fragen, die klare Antworten haben, und offenen Fragen, die im wissenschaftlichen Bereich noch diskutiert werden.

#Forschungsfragen

Um LLMs effektiv zu bewerten, konzentrieren wir uns auf vier zentrale Fragen:

1. Können aktuelle LLMs komplexe wissenschaftliche Denkfragen genau beantworten?
2. Sind LLMs in der Lage zu erkennen, wenn sie nicht genügend Informationen haben, um eine Frage zu beantworten?
3. Können LLMs ihre eigenen Antworten validieren?
4. Lassen sich Menschen leicht von falschen, aber überzeugenden LLM-Antworten täuschen?

#Testing der LLM-Leistung

Wir haben mehrere LLMs getestet, darunter proprietäre Modelle von OpenAI und Open-Access-Modelle von Meta und anderen. Unser Ziel war es zu sehen, wie gut diese Modelle mit den Fragen im SCiPS-QA-Datensatz umgehen konnten.

#Ergebnisse aus den Tests

#Leistungsübersicht

Die meisten Open-Access-Modelle hatten im Vergleich zu den proprietären Modellen wie GPT-4 Turbo Schwierigkeiten. Das Llama-3-70B-Modell zeigte jedoch beeindruckende Ergebnisse und übertraf oft GPT-4 Turbo in bestimmten Bereichen. Trotz dieser Ergebnisse konnten keine der Modelle die Komplexität des wissenschaftlichen Denkens konsequent verstehen, besonders bei offenen Fragen.

#Beantwortung geschlossener Fragen

Bei geschlossenen Fragen schnitten sowohl GPT-4 Turbo als auch Llama-3-70B gut ab. Sie lieferten grösstenteils korrekte Antworten und zeigten Konsistenz in ihren Antworten. Die Open-Access-Modelle lagen jedoch deutlich zurück, viele produzierten falsche oder irrelevante Antworten.

#Umgang mit offenen Fragen

Die Ergebnisse für Offene Fragen waren weniger erfreulich. Die meisten Modelle erkannten nicht, wenn sie die Antwort nicht wussten. Llama-3-70B stellte in diesem Bereich die beste Leistung dar, hatte aber trotzdem insgesamt Schwierigkeiten und zeigte, dass viele LLMs nicht in der Lage sind, mit offenen wissenschaftlichen Anfragen umzugehen.

#Überprüfung der Antworten

Eine besorgniserregende Erkenntnis war, dass selbst die besten Modelle Schwierigkeiten hatten, ihre eigenen Antworten zu verifizieren. Das führt dazu, dass falsche Antworten als korrekt akzeptiert werden, was besonders besorgniserregend im wissenschaftlichen Kontext ist.

#Bias bei menschlichen Evaluatoren

Menschliche Evaluatoren wurden auch von der überzeugenden Natur der LLM-Antworten beeinflusst. Oft bewerteten sie falsche Antworten positiv, besonders wenn die Antwort im Modell enthalten war. Dieser Trend hebt das Risiko hervor, dass LLMs falsche wissenschaftliche Informationen verbreiten, da ihr Selbstbewusstsein das Urteilsvermögen der Menschen beeinflussen kann.

#Implikationen für die wissenschaftliche Kommunikation

Die Abhängigkeit von LLMs in wissenschaftlichen Kontexten birgt erhebliche Risiken. Die Fähigkeit dieser Modelle, irreführende Informationen bereitzustellen, könnte zu Missverständnissen und Fehlkommunikation in der Wissenschaft führen. Es ist wichtig, Rahmenbedingungen zu schaffen, die die Genauigkeit und Zuverlässigkeit der von LLMs generierten Informationen sicherstellen.

#Fazit

LLMs bieten vielversprechende Anwendungen, auch in der Wissenschaftskommunikation. Allerdings sind sie noch nicht zuverlässig genug, um erfahrene Kommunikatoren wie Neil deGrasse Tyson zu ersetzen. Aktuelle Bewertungen deuten darauf hin, dass LLMs zwar Texte generieren können, die wissenschaftlich fundiert erscheinen, ihnen jedoch das tiefere Verständnis fehlt, das für eine genaue und verantwortungsvolle wissenschaftliche Kommunikation nötig ist.

#Zukünftige Richtungen

Während sich LLMs weiterentwickeln und verbessern, wird es entscheidend sein, ihre Denkfähigkeiten zu erweitern. Zukünftige Forschung sollte sich darauf konzentrieren, Datensätze zu erstellen, die realistischere wissenschaftliche Fragen widerspiegeln, und die Bewertungsmethoden zu verfeinern, die zur Testung dieser Modelle verwendet werden. So können wir vielleicht näher daran kommen, LLMs zu effektiven Partnern in der wissenschaftlichen Kommunikation zu machen.