Bewertung von Sprachmodellen für die Übereinstimmung mit menschlichen Antworten

Sprachmodelle (LMs) sind Computerprogramme, die menschenähnlichen Text generieren können. Die werden immer häufiger eingesetzt, besonders in Situationen, wo es wichtig ist, zu zeigen, wie Leute denken und reagieren. Zum Beispiel werden die in der Bildung und in der öffentlichen Politik genutzt, um bessere Entscheidungen zu treffen. Das Hauptziel ist, dass diese Modelle die Bandbreite menschlicher Reaktionen darstellen, anstatt nur perfekte Antworten zu geben. Frühere Studien haben gezeigt, dass LMs oft Antworten produzieren, die zu perfekt sind. Daher ist es wichtig, Wege zu finden, um zu messen, wie gut diese Modelle mit dem vielfältigen Wissen und den Antworten realer Leute übereinstimmen.

In diesem Artikel stellen wir eine neue Methode vor, um diese Übereinstimmung zu bewerten, die wir „psychometrische Ausrichtung“ nennen. Diese Kennzahl hilft uns zu sehen, wie nah die Antworten der LMs an der Wissensverteilung der menschlichen Populationen sind. Um das zu bewerten, sammeln wir Antworten von LMs und echten Menschen zu denselben Fragen und analysieren, wie sich ihre Antworten unterscheiden. Diese Methode liefert Einblicke, die andere traditionelle Bewertungsmethoden vielleicht übersehen.

#Der Bedarf an psychometrischer Ausrichtung

Sprachmodelle werden zunehmend in verschiedenen Bereichen wie Bildung, Marketing und Produktdesign angewendet. Sie können Interaktionen zwischen Schülern und Lehrern simulieren, zum Beispiel, wo jeder Schüler ein unterschiedliches Verständnis hat. Allerdings reagieren LMs manchmal auf eine Weise, die für die jeweilige Aufgabe zu fortgeschritten scheint. Daher ist es wichtig zu überprüfen, wie gut LMs die Wissensverteilung echter Menschen widerspiegeln.

Die Bewertung der Übereinstimmung von LMs mit menschlichen Antworten ist herausfordernd, weil wir nicht direkt beobachten können, wie jede Gruppe denkt. Eine Möglichkeit, dies anzugehen, besteht darin, beide Gruppen mit dem gleichen Fragenkatalog zu testen und ihre Leistung zu vergleichen. Allerdings kann es sein, dass die blosse Betrachtung der Punktzahlen kein vollständiges Bild liefert, da sie die unterschiedlichen Reaktionen einzelner Personen auf jede spezifische Frage übersehen kann.

Die psychometrische Ausrichtung zielt darauf ab, zu bewerten, wie gut LMs die Wissensverteilungen von Menschen darstellen. Das erfordert das Sammeln von Antworten beider Gruppen zu denselben Testfragen und deren Analyse mithilfe der Item-Response-Theorie (IRT). IRT ist ein Rahmenwerk, das in Bildungsevaluierungen verwendet wird, um sowohl die Fähigkeiten der Individuen als auch die Schwierigkeit der Testfragen gleichzeitig zu messen.

#Methodologie

#Item-Response-Theorie (IRT)

IRT hilft zu verstehen, wie Personen mit unterschiedlichen Fähigkeiten Testfragen beantworten. Jede Antwort spiegelt eine Mischung aus der Fähigkeit der Person und der Schwierigkeit der Frage wider. In Bildungskontexten reicht es nicht aus, nur die richtigen Antworten zu zählen. Manche Fragen sind schwieriger als andere, und IRT berücksichtigt diese Unterschiede.

Mit Hilfe von IRT analysieren wir, wie gut die Antworten von LMs mit denen von echten Menschen übereinstimmen. Wir gehen davon aus, dass wenn zwei Gruppen ähnliche Fähigkeiten haben, auch ihre Wahrnehmung der Frage schwierigkeit ähnlich sein sollte. Indem wir die Schwierigkeitsgrade vergleichen, die verschiedene Gruppen den Testfragen zuweisen, können wir ihre Übereinstimmung bewerten.

#Datensammlung

Um die psychometrische Ausrichtung zu beurteilen, nutzen wir reale Datensätze, in denen Schüler Fragen beantwortet haben. Wir konzentrieren uns auf Datensätze, die vollständige Frageninhalte bieten, was notwendig ist, um die LMs zu bewerten. Wir haben drei Bereiche identifiziert: Mathematik, Wortschatzentwicklung und Sprachenlernen, die alle aus angesehenen Bildungsressourcen stammen.

1. Mathematik-Datensatz: Dieser Datensatz enthält Antworten von Schülern im Alter von 11-12 Jahren auf Multiple-Choice-Mathefragen. Damit können wir analysieren, wie gut LMs das Wissen der Schüler in Mathe erfassen.

2. Wortschatzentwicklungs-Datensatz: Dieser Datensatz stammt aus einer Datenbank und enthält binäre Antworten von Kindern im Alter von 16-30 Monaten über ihr Wortschatzwissen. Diese Daten helfen uns, den Spracherwerb durch LMs zu untersuchen.

3. Sprachenlernen-Datensatz: Dieser Datensatz konzentriert sich auf Englisch sprechende Personen, die Spanisch über eine App lernen. Er enthält Benutzerantworten zu Wortschatzfragen und liefert wertvolle Einblicke in den Spracherwerbsprozess.

#Bedeutung der psychometrischen Ausrichtung

Psychometrische Ausrichtung ist entscheidend, um sicherzustellen, dass LMs menschliche Antworten effektiv nachahmen. Wenn man Gruppen vergleicht, kann es irreführend sein, sich nur auf zusammenfassende Statistiken wie die Gesamtgenauigkeit zu konzentrieren. Zwei Populationen können insgesamt ähnlich abschneiden, aber ihre Antworten auf einzelne Fragen können stark variieren.

Zum Beispiel können wir eine synthetische Population erstellen, indem wir Antworten mischen, was ähnliche Gesamtgenauigkeit wie die menschliche Population erzeugen kann. Allerdings wird die Schwierigkeit spezifischer Fragen wahrscheinlich zwischen den beiden Gruppen variieren. Das zeigt, dass ähnliche Gesamtergebnisse nicht garantieren, dass beide Populationen das gleiche Verständnis der Testfragen haben.

#Bewertung bestehender Sprachmodelle

Wir nutzen unser Mass für psychometrische Ausrichtung, um mehrere bestehende LMs über die drei identifizierten Datensätze hinweg zu testen. Zuerst überprüfen wir, wie gut ein Ensemble von LMs ohne spezielle Aufforderung zur Nachahmung menschlichen Verhaltens abschneidet. Als Nächstes untersuchen wir, wie verschiedene Aufforderungsstrategien die Ausrichtung verbessern können.

#Kontrollbedingungen

In unseren Bewertungen richten wir zwei Kontrollbedingungen ein:

1. Menschliche Kontrolle: Wir erstellen mehrere Datensätze, indem wir zufällig Schüler aus der gleichen Population auswählen. So können wir beurteilen, wie gut LMs im Vergleich zu typischen menschlichen Antworten abschneiden.

2. Zufallssteuerung: Wir erstellen einen synthetischen Datensatz, in dem die Antworten zufälliges Raten nachahmen. Das gibt uns eine Basislinie, um zu verstehen, wie weit LMs von einer echten menschlichen Verteilung entfernt sein können.

#Ensemble verschiedener LMs

Um die Vielfalt der Antworten in einer menschlichen Population zu bewerten, untersuchen wir eine Auswahl an Open-Source- LMs. Wir kombinieren die Antworten von zehn verschiedenen Modellen und fordern jedes auf, zu denselben Fragen mehrere Male zu antworten. So können wir eine realistischere Verteilung der Antworten simulieren.

Die ersten Ergebnisse zeigen, dass die Antworten der Ensemble-Modelle zwar eine gewisse Stabilität aufweisen, aber nicht eng mit menschlichen Antworten übereinstimmen. Das weist auf eine erhebliche Lücke hin, wie LMs menschliche Variabilität widerspiegeln.

#Personenbasierte Aufforderung

Um die Ausrichtung zwischen LMs und menschlichen Antworten zu verbessern, untersuchen wir eine Methode namens personenbasierte Aufforderung. Dabei bitten wir das Sprachmodell, spezifische Eigenschaften eines Benutzers anzunehmen, bevor es Fragen beantwortet. Zum Beispiel könnten wir das Modell anweisen, so zu tun, als ob es ein bestimmtes Alter oder Geschlecht hätte.

Wir bewerten die Wirkung von drei verschiedenen Arten von Personenaufforderungen:

1. Einfache Personenaufforderung: Das LM beantwortet Fragen ausschliesslich basierend auf einer Personaschilderung.
2. Persona mit Gedankenablauf: Das LM denkt über seine Fähigkeit nach, die Fragen basierend auf seiner Persona zu beantworten.
3. Strukturierte Antwort: Das LM strukturiert seine Antwort, nachdem es über die Fähigkeiten der Persona nachgedacht hat.

Jeder dieser Ansätze wird über unsere Datensätze hinweg bewertet. Die Ergebnisse deuten darauf hin, dass während einige Methoden besser funktionieren als andere, grössere LMs nicht immer eine bessere Ausrichtung bieten, was wichtige Fragen zu ihrer Effektivität aufwirft.

#Feinabstimmung von Sprachmodellen

Ein weiterer Ansatz, den wir untersuchen, besteht darin, die Modelle auf tatsächlichen Schülerantwortdaten zu verfeinern, um bessere Simulationen zu schaffen. Durch das Training von Modellen mit den vergangenen Antworten von Schülern wollen wir verbessern, wie gut ihre Antworten mit denen realer Schüler übereinstimmen.

Unsere Ergebnisse zeigen jedoch, dass die Feinabstimmung nicht immer bessere Ergebnisse als die alleinige Aufforderung liefert. In einigen Fällen können feinabgestimmte Modelle andere übertreffen, aber in den meisten Fällen verbessern sie die Ausrichtung nicht signifikant über die besten Aufforderungsmethoden hinaus.

#Einschränkungen und zukünftige Richtungen

Es gibt einige Einschränkungen in unserer Studie. Erstens liegt der Fokus hauptsächlich auf einem spezifischen Modell der IRT. Obwohl dieses Modell weit verbreitet ist, könnten komplexere IRT-Modelle tiefere Einblicke liefern. Zudem könnten die Datensätze, auf die wir uns stützen, nicht alle Populationen vollständig repräsentieren, da sie auf spezifische Gruppen und Kontexte beschränkt sind.

Eine weitere Einschränkung liegt im Datenbeschaffungsprozess, da die Antworten möglicherweise nicht in typischen Bewertungsumgebungen gesammelt wurden. Zukünftige Arbeiten könnten vielfältigere Datensätze untersuchen und verschiedene Bewertungsstile in Betracht ziehen.

#Fazit

Die Einführung der Kennzahl für psychometrische Ausrichtung bietet eine neue Perspektive darauf, wie LMs die Wissensverteilung menschlicher Populationen erfassen. Diese Kennzahl ermöglicht es Forschern und Entwicklern, das Verhalten von LMs besser zu verstehen und mögliche Lücken zu identifizieren, wenn diese Modelle genutzt werden, um menschliche Interaktionen zu simulieren.

Durch die Bewertung bestehender LMs über verschiedene Datensätze hinweg zeigt sich, dass obwohl einige Modelle Potenzial für eine Ausrichtung mit menschlichen Antworten aufweisen, signifikante Diskrepanzen weiterhin bestehen. Zukünftige Verbesserungen könnten durch gezielte Aufforderungsstrategien oder Feinabstimmung erreicht werden, aber weitere Forschung ist nötig, um diese Optionen vollständig zu erkunden.

Letztendlich zielt die Arbeit, die wir hier präsentieren, darauf ab, zum fortlaufenden Dialog beizutragen, wie man LMs repräsentativer für echtes menschliches Wissen und Antworten machen kann. Dieser Fortschritt könnte neue Möglichkeiten eröffnen, LMs in der Bildung, in der politischen Entscheidungsfindung und darüber hinaus zu nutzen.