Die Zuverlässigkeit von grossen Sprachmodellen als Wissensdatenbanken bewerten

In letzter Zeit gibt's viel Interesse daran, grosse Sprachmodelle (LLMs) für Aufgaben zu nutzen, die viel Wissen erfordern. Die Leute fragen sich, ob LLMs wie Wissensdatenbanken (KBs) funktionieren können. Aber wie zuverlässig diese LLMs in dieser Rolle sind, ist noch nicht ganz klar. Obwohl einige Studien darauf hindeuten, dass LLMs Wissen speichern, reicht es nicht aus, einfach nur Wissen zu haben, um zu sagen, dass sie gut als KBs funktionieren.

#Zuverlässigkeit in LLMs definieren

Um herauszufinden, ob ein LLM als KB zuverlässig ist, müssen wir darüber nachdenken, was eine KB zuverlässig macht. Diese Forschung konzentriert sich auf zwei Hauptpunkte: Faktizität und Konsistenz. Faktizität bedeutet, richtige Antworten zu geben, während Konsistenz bedeutet, ähnliche Antworten zu geben, wenn man die gleichen Fragen stellt.

#Gesehenes vs. Ungesehenes Wissen

Es gibt zwei Arten von Wissen zu berücksichtigen. Gesehenes Wissen ist das, was das Modell während des Trainings gelernt hat, während ungesehenes Wissen das ist, was es vorher noch nicht getroffen hat. Ein zuverlässiges LLM sollte mit sowohl gesehenem als auch ungesehenem Wissen gut umgehen können.

#LLMs bewerten

Um die Zuverlässigkeit verschiedener LLMs zu bewerten, haben wir einige spezifische Masse entwickelt. Wir haben eine Reihe von beliebten LLMs untersucht, um zu sehen, wie sie bei der Beantwortung von Fragen abschneiden. Unsere Bewertung betrachtete verschiedene Aspekte der LLMs, wie ihre Grösse und wie sie feinjustiert wurden.

#Das Problem mit aktuellen Bewertungen

Viele bestehende Bewertungen ignorieren wichtige Aspekte dessen, was eine zuverlässige KB ausmacht. Sie gehen oft davon aus, dass es reicht, Wissen einfach abzurufen. Wir sind jedoch der Meinung, dass LLMs anhand von Kriterien bewertet werden müssen, die ihr einzigartiges Design anerkennen.

#Vorgeschlagene Kriterien für Zuverlässigkeit

Um LLMs besser zu bewerten, schlagen wir einen Rahmen vor, der sich auf folgende Kriterien konzentriert:

1. Für gesehenes Wissen: Ein zuverlässiges LLM sollte hohe Raten korrekter Antworten und niedrige Raten falscher Antworten haben.
2. Für ungesehenes Wissen: Ein zuverlässiges LLM sollte falsche Antworten vermeiden und möglicherweise Unsicherheit anzeigen.

#Methodik

Wir haben zwei Datensätze für unsere Bewertung erstellt: SeenQA und UnseenQA. SeenQA besteht aus Fragen, die aus bekannten Datensätzen abgeleitet sind, während UnseenQA aus Fragen besteht, die LLMs, die vor einem bestimmten Datum trainiert wurden, nicht kennen sollten.

#Bewertete LLMs

Wir haben eine Vielzahl von LLMs bewertet und sie nach Grösse gruppiert: klein, mittel und gross. Jedes Modell wurde danach analysiert, wie gut es die Aufgaben, die wir ihm gestellt haben, erfüllen konnte, insbesondere in Bezug auf die Fähigkeit, Fragen korrekt und konsistent zu beantworten.

#Arten von Antworten von LLMs

LLMs können drei Arten von Antworten geben: korrekt, uninteressant oder falsch. Für unsere Bewertung haben wir genau darauf geachtet, wie oft jedes Modell diese Arten von Antworten produziert hat.

#Korrekte Antworten

Korrekte Antworten sind solche, die genau mit den erwarteten Antworten übereinstimmen. Wir haben eine einfache Methode verwendet, um zu überprüfen, ob die Antworten korrekt sind.

#Uninteressante Antworten

Uninteressante Antworten beinhalten das Wiederholen der Frage, das Sagen, dass sie es nicht wissen, oder das Bereitstellen von keinerlei relevanten Informationen. Zu verstehen, wie oft LLMs uninteressante Antworten geben, ist wichtig für die Bewertung ihrer Zuverlässigkeit.

#Konsistenz messen

Konsistenz ist für jede KB wichtig. Wir haben untersucht, wie gut LLMs konsistente Antworten gegeben haben, wenn sie mit ähnlichen Fragen konfrontiert wurden. Wir haben Multiple-Choice-Fragen verwendet, um diese Konsistenz zu testen.

#Bedeutung von Faktizität und Konsistenz

Ein gutes LLM sollte zuverlässig sein, was die Bereitstellung wahrer Informationen und die Aufrechterhaltung von Konsistenz in seinen Antworten angeht. Unsere Ergebnisse deuten darauf hin, dass viele LLMs, sogar die, die stark erscheinen, in diesen beiden Bereichen Schwierigkeiten haben.

#Ergebnisse und Erkenntnisse

Nach der Bewertung von 26 beliebten LLMs haben wir festgestellt, dass viele von ihnen nicht so zuverlässig waren, wie erwartet. Sogar die am besten abschneidenden Modelle hatten Probleme mit Faktizität und Konsistenz.

#Hochleistungsmodelle

Das Modell, das als GPT-3.5-turbo bekannt ist, zeigte einige der besten Ergebnisse, war jedoch nicht immer korrekt oder konsistent. Wir haben festgestellt, dass Fine-Tuning oder das Hinzufügen von Beispielen die Leistung in diesen Bereichen nicht wesentlich verbessert hat.

#Faktoren, die die Leistung beeinflussen

Mehrere Faktoren beeinflussen, wie gut LLMs als KBs abschneiden. Dazu gehören die Modellgrösse, der Fine-Tuning-Prozess und wie viele Beispiele die Modelle gesehen haben.

#Der Einfluss der Modellgrösse

Als die Grösse der Modelle zunahm, verbesserte sich ihre Leistung bei gesehenem Wissen. Allerdings schnitten die grösseren Modelle oft schlechter bei ungesehenem Wissen ab. Dieses Muster wirft Bedenken darüber auf, wie gut diese Modelle sich an neue Informationen anpassen können.

#Modelle feinjustieren

Das Fine-Tuning von LLMs half ihnen, besser auf ungesehenes Wissen zu reagieren. Allerdings haben wir festgestellt, dass es sie manchmal schlechter im Umgang mit gesehenem Wissen machte. Das zeigt, dass Fine-Tuning sowohl positive als auch negative Auswirkungen auf die Leistung von LLMs haben kann.

#Lernen im Kontext

Die Verwendung von unsicheren Anstössen in den Eingabeaufforderungen verbesserte die Leistung von LLMs bei ungesehenem Wissen. Dennoch verbesserte sich die allgemeine Konsistenz der Antworten nicht wesentlich, was auf einen weiteren Forschungsbedarf hindeutet.

#Fazit

Unsere Untersuchung zur Zuverlässigkeit von LLMs als Wissensdatenbanken zeigt, dass sie zwar vielversprechend sind, aber erhebliche Lücken in ihrer Leistung aufweisen. Damit LLMs als zuverlässige KBs gelten können, müssen sie in Bezug auf Faktizität und Konsistenz besser werden.

#Zukünftige Forschungsrichtungen

Bessere Wege zu finden, um LLMs zu trainieren und feinzujustieren, wird entscheidend sein, um sie effektiver bei der Bereitstellung zuverlässiger Antworten zu machen. Zukünftige Studien sollten sich darauf konzentrieren, wie LLMs besser mit ungesehenem Wissen umgehen können, während sie hohe Konsistenzraten aufrechterhalten. Dieses fortlaufende Bemühen ist entscheidend, um sicherzustellen, dass LLMs in Zukunft die Rolle zuverlässiger Wissensdatenbanken erfüllen können.