Bewertung der Abrufvielfalt bei komplexen Fragen

In unserer Forschung konzentrieren wir uns darauf, verschiedene Meinungen zu komplexen Fragen zu finden, die oft unterschiedliche Sichtweisen haben. Zum Beispiel kann eine Frage wie "Bringt ChatGPT mehr Schaden als Nutzen?" aus vielen Blickwinkeln betrachtet werden. Um dabei zu helfen, haben wir einen speziellen Datensatz namens Benchmark für Retrieval-Diversität bei subjektiven Fragen erstellt. Dieser Datensatz enthält Fragen und eine Reihe von Meinungen dazu, die aus Umfragen und Debatten-Websites stammen.

Informationen abzurufen, die verschiedene Perspektiven zeigen, kann herausfordernd sein. Viele bestehende Methoden suchen nach Dokumenten, die einfach mit den Schlüsselwörtern der Frage übereinstimmen, aber das erfasst nicht das Wesentliche der verschiedenen Meinungen. Um dem entgegenzuwirken, haben wir ein System entwickelt, das Sprachmodelle nutzt, um festzustellen, ob die abgerufenen Dokumente tatsächlich eine Perspektive in Bezug auf die gestellte Frage enthalten. Wir haben dies mit verschiedenen Informationsquellen wie Wikipedia, Schnappschüssen aus dem Web und vor Ort erstellten Dokumenten unter Verwendung von Suchmaschinenergebnissen getestet.

Trotz unserer Bemühungen haben wir festgestellt, dass die aktuellen Methoden nur in etwa einem Drittel der Fälle, die wir untersucht haben, alle Sichtweisen abdecken konnten. Wir haben auch untersucht, wie das Erweitern der Suchbegriffe und das Anpassen der priorisierten Dokumente die Ergebnisse beeinflussen können. Unsere Forschung legt den Grundstein für die Verbesserung der Handhabung von Retrieval-Diversität bei komplexen Anfragen.

#Überblick über unser Benchmark und unsere Aufgabe

Unser Benchmark besteht aus Fällen, bei denen jede Frage und eine Reihe von Perspektiven enthalten sind. Nachdem ein Retriever eine Auswahl von Dokumenten zurückgegeben hat, bewerten wir, ob diese Dokumente mehrere Antworten oder Sichtweisen enthalten. Um zu messen, wie gut die Retriever abschneiden, verwenden wir eine Metrik namens MRecall, die überprüft, ob die abgerufenen Dokumente die unterschiedlichen Antworten und Perspektiven abdecken. Wir schauen uns auch die Präzision an, die uns sagt, ob die Dokumente relevante Perspektiven haben. Dafür haben wir ein spezielles Tool namens "Perspektivenerkennung" entwickelt, das bewertet, ob ein Dokument eine bestimmte Sichtweise präsentiert.

Wir haben festgestellt, dass die ausschliessliche Nutzung von Wikipedia oft nicht ausreicht, um viele unserer Fragen zu beantworten. Daher haben wir mit verschiedenen Datenquellen experimentiert und herausgefunden, dass die Verwendung von Webinhalten tendenziell vielfältigere Ergebnisse liefert.

#Bedeutung unterschiedlicher Perspektiven

Bei komplexen Fragen wie "Bringt ChatGPT mehr Schaden als Nutzen?" ist es wichtig, dass ein Retrieval-System eine Reihe von Meinungen sichtbar macht. Wenn wir uns nur darauf konzentrieren, wie relevant die Informationen sind, könnten wir wichtige Perspektiven übersehen. Den Nutzern unterschiedliche Dokumente bereitzustellen, ist vorteilhaft und hilft, Sprachmodelle zu verbessern, die Antworten generieren. Es ist eine Herausforderung, grosse Sprachmodelle dazu zu bringen, selbst vielfältige Antworten zu formulieren, daher können Retrieval-Methoden ihnen helfen, umfassendere Antworten zu formulieren.

Um die Retrieval-Diversität zu bewerten, schauen wir uns an, ob die obersten abgerufenen Dokumente eine Vielzahl von Perspektiven zu einer bestimmten Frage enthalten. Wir definieren eine Perspektive als eine spezifische Sichtweise auf die präsentierte Frage. Wir haben einen Datensatz mit 3.000 komplexen Fragen erstellt, wobei jede Frage im Durchschnitt mit 2,3 Perspektiven verknüpft ist. Diese Fragen stammen aus drei Hauptquellen: Umfrage-Sammlungen, Debatten-Themen-Websites und einer Plattform namens Kialo, die Argumentkarten präsentiert.

Aktuelle Retrieval-Benchmarks überprüfen normalerweise, ob Dokumente exakten Antworten entsprechen, aber wir gehen nicht von spezifischen bekannten Antworten oder Dokumenten aus. Stattdessen bewerten wir, wie gut Retrieval-Systeme in realen Einstellungen abschneiden. Dazu haben wir einen auf Sprachmodellen basierenden Evaluator entwickelt, der entscheiden kann, ob ein Dokument eine bestimmte Perspektive unterstützt.

#Testen von Retrievals und Dokumententypen

Um zu sehen, wie gut unsere Retrieval-Methoden funktionieren, haben wir verschiedene Retriever gegen unterschiedliche Informationsquellen getestet. Angesichts der subjektiven Natur unserer Fragen haben wir festgestellt, dass Wikipedia oft nicht genügend Inhalt bietet. Daher haben wir uns auf ein breiteres Set an Webdaten gestützt, das Dokumente umfasst, die aus Suchmaschinen abgerufen wurden. Unsere Ergebnisse haben gezeigt, dass die Kombination von dichten Retrieval-Methoden mit Webinhalten in der Regel die besten Ergebnisse in Bezug auf Perspektivdiversität liefert.

Trotz Verbesserungen kämpfen Retrieval-Systeme jedoch immer noch damit, eine umfassende Sichtweise zu bieten. Unsere Tests zeigten, dass selbst die besten Retrieval-Einstellungen nur in etwa 30 % der Fälle Perspektiven abdeckten. Das deutet darauf hin, dass, obwohl Systeme relevante Informationen finden können, sie immer noch versagen, eine breite Palette von Sichtweisen zu präsentieren.

#Techniken zur Verbesserung der Diversität im Retrieval

Um die Diversität der von unseren Retrieval-Methoden zurückgegebenen Informationen zu erhöhen, haben wir zwei Hauptstrategien angewendet: das Neurangieren von Dokumenten und das Erweitern von Suchanfragen. Das Neurangieren passt die Punktzahlen der zurückgegebenen Dokumente an, sodass ähnlichen Informationen eine Strafe auferlegt wird. Das hilft, einzigartige Dokumente im Output hervorzuheben.

Auf der anderen Seite beinhaltet die Abfrageerweiterung die Verwendung eines Sprachmodells, um mehrere Sichtweisen zu einer Frage zu generieren, die dann verwendet werden, um den Retrieval-Prozess zu steuern. Wir haben beträchtliche Verbesserungen bei den Retrieval-Ergebnissen gesehen, als diese Techniken implementiert wurden, insbesondere bei dichten Retrieval-Algorithmen.

#Analyse verschiedener Datenquellen

Beim Vergleich der Leistung der Retriever basierend auf den unterschiedlichen Informationsquellen haben wir festgestellt, dass die Verwendung von Web-Schnappschüssen zu besseren Ergebnissen führte, als sich nur auf Wikipedia zu verlassen. Allerdings variieren die Ergebnisse, wenn Google-Suche als Quelle verwendet wird; während sie einige wertvolle Einblicke bietet, erreicht sie nicht die Diversität der Informationen, die aus umfassenderen Web-Datenbanken verfügbar sind.

Unter den verschiedenen Retrievern fanden wir heraus, dass einer namens Contriever konstant die vielfältigsten Ergebnisse lieferte. Trotz dessen hatten selbst die besten Ausgaben Schwierigkeiten, alle erforderlichen Perspektiven abzudecken, was auf eine erhebliche Lücke in der aktuellen Retrieval-Technologie hinweist.

#Was brauchen wir, um diverse Perspektiven abzurufen?

Unsere Forschung zielte auch darauf ab, die Frage zu beantworten: Wie viele Dokumente müssen abgerufen werden, um sicherzustellen, dass alle Perspektiven abgedeckt sind? Durch einen tieferen Blick auf die Leistung unserer Basis-Retriever haben wir festgestellt, dass das Abrufen von bis zu 100 Dokumenten für eine einzelne Frage oft bessere Ergebnisse lieferte. Wir fanden heraus, dass der Contriever alle Perspektiven in 83,1 % der Fälle innerhalb der obersten 100 Dokumente erfassen konnte, obwohl dieser Wert je nach Retrieval-Einstellungen variierte.

Ausserdem wollten wir verstehen, ob die Retriever dazu neigen, unterstützende Perspektiven gegenüber gegensätzlichen Sichtweisen zu bevorzugen. Diese Untersuchung ergab, dass Retriever dazu tendieren, unterstützende Perspektiven zu betonen, wobei gegensätzliche Sichtweisen oft vernachlässigt werden, wenn beide verfügbar sind.

#Untersuchung des Retriever-Sykophantismus

Wir haben auch analysiert, ob Retrieval-Systeme möglicherweise gegenüber Perspektiven voreingenommen sind, die näher an den gegebenen Fragen liegen. Mit anderen Worten, wenn ein Retriever mit einer unterstützenden Aussage konfrontiert wird, würde er dann wahrscheinlicher Dokumente abrufen, die diese Sichtweise ebenfalls unterstützen? Unsere Experimente haben gezeigt, dass das Abrufen mit unterstützenden Perspektiven tatsächlich zu einem höheren Anteil von Dokumenten führte, die die gleiche Sichtweise unterstützen, was auf ein Muster hinweist, das die präsentierte Haltung favorisiert.

#Die Grenzen der Retrieval-Diversität

Derzeit erkennen wir, dass es sowohl in den Retrieval-Systemen als auch in den Quellen, aus denen sie Informationen beziehen, Einschränkungen gibt. Obwohl wir nicht davon ausgehen, dass ein Goldstandard-Korpus existiert, zeigen Leistungsmetriken, dass die besten Retrieval-Methoden weiterhin unzureichend sind, wobei selbst die effektivsten Systeme es nicht schaffen, vielfältige Perspektiven vollständig zu erfassen.

Um die Einschränkungen weiter zu erkunden, haben wir die besten Ergebnisse verschiedener Retriever kombiniert, um zu sehen, ob dies die Diversität erhöhen würde. Wir fanden heraus, dass die Zusammenführung von Ergebnissen aus verschiedenen Quellen oft eine höhere Leistung erbrachte als Einzel-Retriever-Ausgaben, insbesondere bei der Verwendung von Webdaten anstelle von Wikipedia.

#Fazit

Zusammenfassend haben wir ein Benchmark erstellt, das bewertet, wie gut Retrieval-Methoden diverse Perspektiven zu komplexen Fragen aufdecken können. Unsere Experimente zeigen, dass bestehende Systeme und Datensätze Schwierigkeiten haben, umfassende Informationen zu meinungsbasierten Anfragen bereitzustellen. Es gibt erheblichen Verbesserungsbedarf, insbesondere wenn es darum geht, die Erkenntnisse aus der Retrieval-Diversität mit effektiven Zusammenfassungstechniken zu verbinden.

Zukünftige Erkundungen könnten auch diese Arbeit auf verschiedene Bereiche über Debatten und Umfragen hinaus ausweiten, einschliesslich Gesundheitsthemen. Ausserdem würde die Verbesserung der Effizienz der zur Bewertung verwendeten Sprachmodelle unsere Erkenntnisse erheblich erweitern.

Obwohl wir stark auf Daten angewiesen waren, die von grossen Sprachmodellen generiert wurden, deuten frühe Untersuchungen darauf hin, dass die Qualität der Daten kein erhebliches Problem darstellt. Zukünftig ebnen unsere Erkenntnisse den Weg für nuanciertere Systeme, die in der Lage sind, diverse Perspektiven in einer Vielzahl von Kontexten abzurufen und zu bewerten. Dies kann letztendlich zu informierteren und ausgewogeneren Diskussionen in der Gesellschaft führen.