Wie Sprachmodelle mit kontroversen Fragen umgehen

Sprachmodelle werden genutzt, um Fragen zu beantworten, die umstritten sein können oder unterschiedliche Meinungen haben. Zum Beispiel erfordern Anfragen wie „Steht Aspartam im Zusammenhang mit Krebs?“ eine sorgfältige Betrachtung vieler Informationen. Um das zu machen, durchsuchen diese Modelle zahlreiche Websites, um Fakten und Meinungen zu finden, die verschiedene Antworten unterstützen.

#Die Studie

In dieser Studie haben wir einen Datensatz erstellt, um zu sehen, wie gut Modelle mit diesen Arten von Fragen umgehen können. Wir haben verschiedene umstrittene Fragen mit realen Dokumenten verknüpft, die widersprüchliche Fakten und Argumente enthalten. Unser Ziel war es herauszufinden, welche Arten von Beweisen diese Modelle vertrauen und warum.

#Beweise und Überzeugungskraft

Menschen fragen sich oft, welche Beweise überzeugend sind, wenn sie mit komplexen Fragen konfrontiert werden. Sie überprüfen Fakten, denken darüber nach, woher die Informationen stammen, und analysieren die präsentierten Argumente. Sprachmodelle folgen diesen Schritten nicht immer. Unsere Ergebnisse deuten darauf hin, dass die Modelle zwar die Relevanz einer Webseite zur Anfrage berücksichtigen, oft jedoch Elemente übersehen, die Menschen wichtig finden, wie die Verwendung wissenschaftlicher Verweise oder einen neutralen Schreibstil.

#Datensammelprozess

Um unseren Datensatz zu erstellen, haben wir zunächst eine Liste von umstrittenen Fragen zu verschiedenen Themen identifiziert. Danach haben wir online nach Absätzen gesucht, die widersprüchliche Meinungen zu diesen Fragen präsentieren. Für jede Anfrage haben wir Beweise gesammelt, die sowohl eine „Ja“- als auch eine „Nein“-Antwort unterstützen. Wir haben Suchmaschinen verwendet, um diese Dokumente abzurufen und sicherzustellen, dass wir eine breite Palette von Argumenten und Fakten erhalten.

#Bewertung der Überzeugungskraft

Für die Analyse haben wir uns angeschaut, wie oft die Vorhersagen eines Modells mit der Sichtweise übereinstimmten, die in verschiedenen Beweisstücken präsentiert wird. Wir nennen diese Rate die „Gewinnrate.“ Durch die Messung dieser Rate konnten wir beurteilen, welche Arten von Absätzen für das Modell überzeugender waren.

#Wichtige Ergebnisse

Unsere Forschung hat gezeigt, dass Sprachmodelle Beweise eher nach Relevanz als nach Stil bevorzugen. Zum Beispiel, als wir einfache Veränderungen vorgenommen haben, um einen Text relevanter zur Frage zu machen, hat sich die Gewinnrate des Modells erheblich verbessert. Allerdings hatten stilistische Merkmale, wie Verweise oder die Verbesserung des Tons des Textes, nicht denselben positiven Effekt.

#Einfluss der Relevanz

Die Ergebnisse zeigen, dass Modelle die Relevanz der Dokumente, die sie lesen, überbewerten und oft den Wert des Stils und der Glaubwürdigkeit ignorieren. Als wir eine Webseite verändert haben, um ihre Relevanz zur Frage klarzustellen, haben sich die Vorhersagen des Modells mehr verbessert als wenn wir uns auf stilistische Elemente konzentriert haben.

#Menschliche vs. Modellurteile

Interessanterweise gibt es eine merkliche Lücke zwischen der Art und Weise, wie Menschen und Modelle die Überzeugungskraft eines Textes bewerten. Menschen können einen Text lesen und ein Urteil über dessen Glaubwürdigkeit fällen. Im Gegensatz dazu haben Modelle Schwierigkeiten, dies zu tun, wenn sie Beweise isoliert präsentiert bekommen.

#Experimenteller Aufbau

Um weiter zu erkunden, wie Modelle Beweise bewerten, haben wir mehrere verschiedene Sprachmodelle getestet, sowohl Open-Source- als auch Closed-Source-Modelle. Wir haben ihnen dieselben widersprüchlichen Fragen gestellt und ihre binären Antworten „Ja“ oder „Nein“ gesammelt. Dies hat uns geholfen zu bewerten, wie sie unterschiedliche Arten von Beweisen wahrnehmen.

#Merkmale, die die Überzeugungskraft beeinflussen

Wir haben verschiedene Faktoren untersucht, um zu sehen, was das Urteil eines Modells beeinflusst. Dazu gehören Lesbarkeit, Stimmung, Einzigartigkeit der Wörter und wie eng der Absatz mit der Frage verbunden ist. Die stärkste Korrelation mit der Überzeugungskraft kam von der Ähnlichkeit zwischen der Frage und dem Absatz.

#Kontrafaktische Analyse

Wir haben auch bestehende Dokumente verändert, um zu sehen, wie sich Änderungen auf deren Überzeugungskraft auswirken könnten. Zum Beispiel konnten wir, indem wir Informationen hinzufügten, um eine Haltung zu klären, oder das Dokument so anpassten, dass es relevanter erschien, bewerten, wie sich diese Änderungen auf die Gewinnrate des Modells auswirkten.

#Fazit

Zusammenfassend beleuchtet unsere Arbeit, wie retrieval-augmented Sprachmodelle die Überzeugungskraft von Informationen bewerten. Diese Modelle konzentrieren sich tendenziell mehr auf die Relevanz von Materialien als auf die stilistischen Elemente, die das menschliche Urteil beeinflussen. Es ist entscheidend, wie diese Modelle trainiert werden und welche Arten von Informationen sie betonen, um die Kluft zwischen Modell- und Menschenevaluierungen zu überbrücken.

#Danksagungen

Wir schätzen die Unterstützung, die wir während der Forschung und Entwicklung dieser Studie erhalten haben. Beiträge von verschiedenen Einzelpersonen und Kooperationen haben dieses Projekt möglich gemacht.