Bewertung von ChatGPT: Zusammenfassung und Stil-Anpassung

In den letzten Jahren sind grosse Sprachmodelle wie ChatGPT ziemlich beliebt geworden, weil sie in der Lage sind, schriftliche Inhalte auf Basis kurzer Eingaben zu erzeugen. Die Leute sind begeistert, wie gut diese Modelle Text erstellen können, der klar und sinnvoll klingt. In diesem Artikel schauen wir uns an, wie gut ChatGPT bei zwei speziellen Aufgaben abschneidet: dem Erstellen von Zusammenfassungen, die für verschiedene Zielgruppen leicht verständlich sind, und dem Anpassen des Stils von Sätzen, um unterschiedliche Formalitätsstufen zu berücksichtigen.

#Der Bedarf an kontrollierbarer Textgenerierung

Wenn Leute lesen, ist es wichtig, dass die Informationen so präsentiert werden, dass sie ihren Bedürfnissen entsprechen. Zum Beispiel braucht ein Wissenschaftler eine komplexe Erklärung, während ein Laie lieber eine einfache Zusammenfassung hätte. Daher ist es entscheidend, den Stil und die Komplexität des Textes anpassen zu können. Hier kommt die kontrollierbare Textgenerierung ins Spiel. Forscher interessieren sich zunehmend dafür, wie man Textgenerierungssysteme wie ChatGPT flexibler gestalten kann, damit sie besser für verschiedene Zielgruppen geeignet sind.

#Funktionen von ChatGPT

ChatGPT und ähnliche Modelle nutzen grosse Mengen an Textdaten, um zu lernen, wie man Inhalte erstellt. Diese Modelle können verschiedene Aufgaben erledigen, wie Sprachverständnis, Informationszusammenfassung und sogar Übersetzung. Allerdings gab es bisher nicht viele gründliche Bewertungen, wie gut diese Modelle im Vergleich zu menschlichen Autoren abschneiden. Das Verständnis ihrer Stärken und Schwächen ist entscheidend, um ihre Nutzung zu verbessern.

#Zusammenfassungs-Generierung

Eine der Aufgaben, die wir untersucht haben, war, wie gut ChatGPT Zusammenfassungen für Experten und Alltagsleser erstellen kann. Wir haben spezifische Eingaben an ChatGPT gegeben und sie gebeten, entweder eine vereinfachte Zusammenfassung oder eine technischere zu erstellen. Zum Beispiel haben wir um eine "Laien-Zusammenfassung" gebeten, um den Inhalt leicht verständlich zu machen, und eine "Experten-Zusammenfassung" für detaillierte Informationen. Ziel war es zu sehen, ob ChatGPT die Komplexität seiner Zusammenfassungen basierend auf diesen Eingaben anpassen konnte.

Wir haben mit einem Datensatz experimentiert, der verschiedene akademische Zusammenfassungen enthält. Durch den Vergleich der Lesbarkeit von ChatGPTs Zusammenfassungen mit denen, die von Menschen geschrieben wurden, haben wir einige interessante Ergebnisse gefunden. Während ChatGPT Zusammenfassungen mit unterschiedlichen Lesbarkeitsniveaus erstellen konnte, waren die Unterschiede nicht so ausgeprägt wie bei menschlichen Zusammenfassungen.

#Lesbarkeitsbewertung

Um zu beurteilen, wie lesbar die Zusammenfassungen waren, haben wir mehrere automatische Lesbarkeitsmetriken verwendet. Diese Werkzeuge helfen dabei zu bestimmen, wie einfach oder schwierig ein Text zu verstehen ist. Unsere Ergebnisse zeigten, dass die Lesbarkeitswerte für ChatGPTs Laien-Zusammenfassungen besser waren als die seiner Experten-Zusammenfassungen, aber trotzdem hinter den menschlichen Versionen zurückblieben. Menschliche Zusammenfassungen wiesen einen deutlichen Unterschied auf: Sie waren für ein allgemeines Publikum viel einfacher zu lesen und zu verstehen.

In unseren Bewertungen haben wir auch untersucht, wie viel neue Sprache ChatGPT im Vergleich zu menschlichen Autoren eingeführt hat. Wir fanden heraus, dass menschliche Zusammenfassungen mehr einzigartige Phrasen und Wörter enthielten, während ChatGPT oft darauf angewiesen war, Phrasen aus dem Originaltext zu wiederholen.

#Ungenauigkeiten und Halluzinationen

Ein weiteres Anliegen, das wir untersucht haben, war das Vorhandensein von Fehlern und Fehlinformationen in den von ChatGPT produzierten Zusammenfassungen. Manchmal erzeugte das Modell Inhalte, die falsche Fakten oder fehlerhafte Informationen enthielten. Wir fanden heraus, dass diese Ungenauigkeiten in ChatGPTs Experten-Zusammenfassungen häufiger vorkamen.

Um dies zu bewerten, verwendeten wir eine Metrik, die die Konsistenz des Inhalts überprüft. Dies zeigte, dass ChatGPTs Zusammenfassungen im Vergleich zu denen von Menschen weniger konsistent mit dem Ausgangsmaterial waren. Das Modell stellte auch fest, dass es eine höhere Anzahl fiktiver Details produzierte, die nicht in den Originaltexten enthalten waren.

#Untersuchung des Stiltransfers

Neben der Zusammenfassung haben wir auch ChatGPTs Fähigkeit untersucht, den Stil von Sätzen zu ändern, und zwar insbesondere in Bezug auf formelle und informelle Tonfälle. Wir haben Eingaben erstellt, die ChatGPT aufforderten, Sätze entweder formell oder informell umzuschreiben, um zu sehen, wie gut es seinen Schreibstil anpassen konnte.

Mithilfe eines speziell für diese Aufgabe entwickelten Datensatzes haben wir die von ChatGPT generierten Sätze mit denen von menschlichen Autoren verglichen. Während ChatGPT formelle und informelle Sätze erzeugen konnte, waren die Unterschiede zwischen seinen Ausgaben und denen menschlicher Autoren bemerkenswert. Menschlich erzeugte Sätze hatten tendenziell eine grössere Vielfalt an Vokabular und Formulierungen.

#Formalitätskontrolle

Um die Formalität der von ChatGPT generierten Sätze zu bewerten, verwendeten wir spezifische Metriken, die die Sprachformalität bewerten. Interessanterweise erzielten die formellen Sätze von ChatGPT oft hohe Punktzahlen in der Formalität, unterschieden sich jedoch nicht stark von seinen informellen Ausgaben. Im Gegensatz dazu zeigten menschliche Autoren mehr Variation und erzeugten deutlichere Unterschiede zwischen formellen und informellen Tonlagen.

Unsere Ergebnisse deuteten darauf hin, dass ChatGPT eher zu formeller Sprache neigt. Diese Tendenz könnte auf die Art der Daten zurückzuführen sein, auf denen es trainiert wurde, die oft schriftliche Quellen, aber nicht so viele informelle Gespräche beinhalteten. Dies wurde deutlich, als wir uns die Ergebnisse der Wortschatzvielfalt ansahen, bei denen menschliche Autoren oft eine reichhaltigere Mischung in ihrem informellen Schreiben zeigten.

#Die Bedeutung von Beispielen

Wir haben auch getestet, wie sich die Bereitstellung von Beispielen in den Eingaben auf ChatGPTs Leistung auswirkte. Indem wir ein von Menschen verfasstes Beispiel zusammen mit der Eingabe einfügten, sahen wir Verbesserungen in der Qualität des generierten Textes. Das zeigte, dass es hilfreich ist, dem Modell ein Referenzbeispiel zu geben, um es zu besseren Inhalten zu führen, die mehr mit den menschlichen Standards übereinstimmen.

Dennoch blieb ChatGPT selbst mit den Beispiel-Eingaben hinter den menschlichen Fähigkeiten zurück. Das Modell hatte Schwierigkeiten, die gleiche Tiefe und Nuance zu erfassen, die ein menschlicher Autor normalerweise vermittelt. Die Anpassungen, die als Reaktion auf die Beispiele vorgenommen wurden, führten zu Verbesserungen, aber nicht auf dem Niveau der Expertise, die in menschlichem Schreiben sichtbar ist.

#Vergleich der Leistung

Im Vergleich von ChatGPT mit hochentwickelten Modellen, die für spezifische Aufgaben optimiert wurden, fanden wir heraus, dass es in einigen Bereichen ziemlich gut abschnitt. Die Probleme mit Ungenauigkeiten und der Unfähigkeit, das Wesen von menschlichem Text vollständig zu erfassen, waren jedoch weiterhin klar.

ChatGPT zeigte ein gewisses Potenzial beim Generieren von Zusammenfassungen und beim Anpassen des Stils, aber es gab Einschränkungen. Die Ergebnisse deuteten darauf hin, dass das Modell qualitativ hochwertige Ausgaben erzeugen könnte, jedoch die Fülle und Genauigkeit fehlte, die menschliche Autoren natürlich in ihr Schreiben integrieren.

#Fazit

Zusammenfassend lässt sich sagen, dass ChatGPT zwar die Fähigkeit zeigt, Texte zu produzieren, die an unterschiedliche Zielgruppen und Stile angepasst werden können, es jedoch nach wie vor erhebliche Lücken im Vergleich zu menschlichem Schreiben aufweist. Die Unterschiede in Lesbarkeit, Wortschatzreichtum und faktischer Genauigkeit verdeutlichen die Notwendigkeit weiterer Forschung und Verbesserungen in diesen Modellen.

Die Erforschung der kontrollierbaren Textgenerierung bleibt entscheidend, da sie zu effektiveren und benutzerfreundlicheren Anwendungen von Sprachmodellen wie ChatGPT führen kann. Fortlaufende Bemühungen müssen darauf abzielen, sicherzustellen, dass diese Werkzeuge den unterschiedlichen Bedürfnissen verschiedener Zielgruppen gerecht werden, während Fehler minimiert und die Anpassungsfähigkeit verbessert wird. Die Untersuchung von Aufgaben wie Zusammenfassung und Stiltransfer ist erst der Anfang, um zu verstehen, wie man die Leistung von Sprachmodellen verbessern kann.