Rationale bei der Argumentbewertung durch Sprachmodelle

Grosse Sprachmodelle (LLMs) haben sich gut darin entwickelt, freitextliche Erklärungen zu generieren, die als Begründungen bezeichnet werden, um ihre Entscheidungen zu unterstützen. Diese Begründungen sind wichtig, weil sie den Nutzern helfen können zu verstehen, warum das Modell eine bestimmte Wahl getroffen hat. In letzter Zeit gab es viel Interesse daran, wie diese Begründungen in Aufgaben genutzt werden können, bei denen die Antworten nicht eindeutig oder faktisch sind. Diese Studie untersucht Begründungen in Situationen, in denen Meinungen wichtig sind, und konzentriert sich auf eine spezifische Aufgabe namens paarweise Argumentbewertung. Bei dieser Aufgabe geht es darum, zwei Argumente zu einem Thema zu vergleichen und zu entscheiden, welches stärker ist.

#Bedeutung von Begründungen

Wenn Modelle Begründungen liefern, erhöhen sie die Klarheit und das Vertrauen in ihre Entscheidungen. Das ist besonders hilfreich in Bereichen wie Debattenunterstützung, wo das Verständnis der Argumentation hinter einem Argument entscheidend ist. Indem sie überzeugende Gründe für ihre Entscheidungen geben, können LLMs in verschiedenen Anwendungen effektiver und zuverlässiger sein.

#Die Aufgabe der paarweisen Argumentbewertung

Bei der paarweisen Argumentbewertung schaut ein Modell auf zwei Argumente, die die gleiche Position oder Sichtweise zu einem Thema haben, und wählt das bessere aus. Das Modell generiert dann eine Begründung, die seine Wahl erklärt. Diese Aufgabe ist subjektiv, was bedeutet, dass die Leute vielleicht darüber diskutieren, welches Argument überlegen ist. Angesichts der subjektiven Natur dieser Aufgabe werden wir bewerten, wie überzeugend die generierten Begründungen sind.

#Forschungsfragen

Um diese Studie zu leiten, haben wir mehrere wichtige Fragen aufgeworfen:

• Wie schneiden verschiedene LLMs beim Generieren überzeugender Begründungen ab?
• Können wir automatisch herausfinden, welche Begründungen überzeugender sind?
• Welche Merkmale einer Begründung machen sie überzeugender?
• Können wir die von den Modellen generierten Begründungen überzeugender machen?

#Methodologie

Wir haben verschiedene LLMs aufgefordert, paarweise Bewertungen ohne vorheriges Training (zero-shot) durchzuführen und Begründungen für ihre Entscheidungen zu liefern. Wir haben auch menschliche Bewertungen genutzt, um die Überzeugungskraft der Begründungen zu bewerten und Wege zu untersuchen, um ihre Überzeugungsqualität zu verbessern.

#Auswahl der LLMs

Wir haben mehrere LLMs betrachtet, darunter einige, die Open-Source sind, und andere, die Closed-Source sind. Die Open-Source-Modelle umfassten beliebte Versionen wie Llama2, während die Closed-Source-Modelle die bekannte GPT-Serie beinhalteten. Wir haben verschiedene Versionen der Modelle verwendet, um zu sehen, ob Grösse und Training einen Unterschied in der Überzeugungsfähigkeit der generierten Begründungen machen.

#Vorbereitung des Datensatzes

Um die Begründungen zu bewerten, haben wir zwei Hauptdatensätze verwendet, die Paare von Argumenten enthielten. Der erste Datensatz, IBM-ArgQ-9.1kPairs, hatte Paare von Argumenten zu verschiedenen Themen, während der zweite Datensatz, IBM-30k, Argumente enthielt, die jeweils nach Qualität bewertet wurden. Aus diesen Datensätzen haben wir Paare von Argumenten für die Analyse gefiltert und ausgewählt, wobei wir darauf geachtet haben, hochwertige Beispiele zu fokussieren.

#Bewertungsphasen

Unser Bewertungsprozess bestand aus drei wichtigen Phasen:

1. Basisbewertung: Wir haben die Begründungen überprüft, um zu sehen, ob sie klar und kohärent waren. Wenn eine Begründung keinen Sinn ergab oder das Argument wiederholte, ohne etwas Neues hinzuzufügen, wurde sie ignoriert.

2. Inhaltsbewertung: Hier haben wir den Gehalt der Begründung betrachtet. Wir haben analysiert, ob die Begründung kontrastierende Ansichten zu den Argumenten angeboten hat und ob sie neue Ideen eingeführt hat.

3. Überzeugungsbewertung: In dieser finalen Phase haben wir beurteilt, wie überzeugend die Begründungen waren. Wir haben menschliche Prüfer gebeten, die Begründungen in paarweisen Vergleichen zu bewerten, was es uns ermöglichte festzustellen, welche Begründung überzeugender war.

#Ergebnisse

#Gesamtleistung

Unsere Ergebnisse zeigten, dass Llama2-70B-chat die überzeugendsten Begründungen generierte, sogar besser als die bekannten GPT-Modelle. Das hebt das Potenzial von Open-Source-Modellen hervor, effektive Erklärungen für ihre Entscheidungen zu erstellen.

#Menschliche und automatische Rankings

In den meisten Fällen stimmte GPT4 eng mit den menschlichen Ranglisten der Begründungen überein, obwohl es einige Unterschiede in Fällen gab, in denen die Begründungen in der Qualität ähnlich waren. Das deutet darauf hin, dass, während automatische Bewertungen hilfreich sein können, menschliches Urteil immer noch eine wichtige Rolle bei der Einschätzung der Überzeugungskraft spielt.

#Wichtige Merkmale der Überzeugungskraft

Wir haben mehrere Merkmale identifiziert, die zur Überzeugungskraft von Begründungen beitrugen. Das wichtigste Merkmal war der Kontrast. Begründungen, die erklärten, warum ein Argument stärker war als das andere, wurden als deutlich überzeugender empfunden. Auch die Länge spielte eine Rolle; längere Begründungen, die detaillierte Unterstützung für die Wahl des Modells lieferten, waren oft überzeugender.

#Verbesserung der Überzeugungskraft

Um die Überzeugungskraft der Begründungen zu steigern, haben wir Methoden getestet, wie das erneute Anstossen der Modelle, um sich auf Kontrast und Details zu konzentrieren. Diese Technik verbesserte die Überzeugungskraft der Ausgaben von Modellen, die anfangs Schwierigkeiten hatten, überzeugende Begründungen zu generieren. Allerdings, selbst mit diesen Verbesserungen, lagen die Ergebnisse immer noch hinter den Ausgaben von fortgeschritteneren Modellen zurück.

#Fazit und zukünftige Richtungen

Diese Studie bietet wertvolle Einblicke in die Überzeugungsfähigkeiten von Begründungen, die von verschiedenen LLMs produziert werden. Die Ergebnisse deuten darauf hin, dass Open-Source-Modelle, insbesondere Llama2-70B-chat, überzeugende Begründungen erstellen können, die praktisch nützlich für subjektive Aufgaben sind. Die Bedeutung des Kontrasts in Begründungen wurde hervorgehoben, zusammen mit dem Potenzial, Ausgaben durch spezifische Anstosstechniken zu verbessern.

Zukünftige Arbeiten werden die Nutzerakzeptanz von modellgenerierten Argumenten untersuchen und andere subjektive Aufgaben erforschen, bei denen das Verständnis der Argumentation entscheidend ist. Wir wollen auch weitere Faktoren berücksichtigen, die Begründungen beeinflussen könnten, um ein tieferes Verständnis dafür zu erlangen, wie verschiedene Modelle ihre Entscheidungen unterstützen.

Während wir diese Forschung fortsetzen, ist es wichtig, sich der ethischen Implikationen von überzeugenden Begründungen bewusst zu sein, insbesondere in Bezug darauf, wie sie Entscheidungsfindungen beeinflussen könnten und das Potenzial für Missbrauch.

#Ethische Überlegungen

Obwohl überzeugende Begründungen die Transparenz und Nutzerakzeptanz verbessern können, tragen sie auch das Risiko, zur Unterstützung von voreingenommenen oder falschen Argumenten genutzt zu werden. Es ist wichtig, verantwortungsvolle Praktiken für die Bereitstellung dieser Modelle zu entwickeln, um potenzielle Schäden zu vermeiden.

#Ergebnisse zur Datensatzqualität

Eine Analyse unserer Datensätze zeigte, dass die Anzahl der Übereinstimmungen zwischen den Modellen abnimmt, wenn mehr Modelle einbezogen werden. Das bestärkt die Idee, dass einige Modelle möglicherweise nicht so gut übereinstimmen, wenn es darum geht, die Qualität von Argumenten zu bewerten, was eine sorgfältige Auswahl der für die Bewertung verwendeten Datensätze erforderlich macht.

Zusammenfassend bestätigt unsere Studie, dass, während es Variationen zwischen LLMs beim Generieren überzeugender Begründungen gibt, einige Modelle erhebliches Potenzial zur Unterstützung subjektiver Entscheidungsfindungsaufgaben zeigen. Weitere Untersuchungen zu den Faktoren, die zu effektiven Begründungen beitragen, werden vorteilhaft sein, während sich das Feld weiterentwickelt.