Herausforderungen beim Überarbeiten wissenschaftlicher Arbeiten: KI vs. menschliche Autoren

Wissenschaftliche Arbeiten zu überarbeiten, ist echt harte Arbeit. Forscher bekommen Feedback von ihren Kollegen und müssen das verstehen und umsetzen, um ihre Arbeit zu verbessern. Das bedeutet, dass sie den Stoff gut verstehen müssen und die versteckten Wünsche im Feedback heraushören können. Ausserdem müssen sie rausfinden, wie sie ihr Papier am besten ändern.

Um dabei zu helfen, haben wir eine Datenmenge erstellt, die Feedback von Gutachtern und die Änderungen an den Arbeiten zeigt. Diese Daten können genutzt werden, um Computerprogramme zu trainieren und zu testen, die beim Schreiben und Bearbeiten unterstützen.

Wir haben uns auf zwei Hauptaufgaben konzentriert: das Zuordnen von Feedback-Kommentaren zu den relevanten Änderungen in den Arbeiten und das Erstellen neuer Änderungen basierend auf den Kommentaren. Wir haben mehrere Programme getestet, darunter GPT-4, um zu sehen, wie gut sie bei diesen Aufgaben abschneiden. Unsere Ergebnisse deuten darauf hin, dass diese Programme Schwierigkeiten haben, die Kommentare mit den richtigen Änderungen zu verbinden, besonders wenn die Kommentare nicht klar sind oder wenn die Änderungen nicht perfekt zu dem passen, was der Kommentar verlangt. Beim Generieren von Änderungen macht GPT-4 auf grundlegender Ebene ganz gut, aber oft fehlt es seinen Antworten an Tiefe und Präzision im Vergleich zu echten Autoren.

Die Nachfrage nach Systemen, die Forschern beim Schreiben und Überarbeiten von Arbeiten helfen können, wächst. Diese Systeme könnten bei verschiedenen Aufgaben helfen, wie zum Beispiel der Literaturüberprüfung und der Ideenfindung. Die Aufgabe, auf die wir uns konzentrieren, spiegelt mehrere Herausforderungen wider, die mit der Interpretation wissenschaftlicher Texte und der Überarbeitung von Arbeiten basierend auf Feedback zusammenhängen. Diese Herausforderungen erfolgreich anzugehen, ist entscheidend für den Aufbau effektiver Werkzeuge, die als Schreibassistenten fungieren können.

Feedback zu Entwürfen kann schwer zu verstehen sein. Gutachter weisen vielleicht auf Mängel hin, aber ihre Kommentare können oft vage oder indirekt sein. Zum Beispiel, wenn ein Gutachter vorschlägt, realistischere Daten zu verwenden, könnte er das direkt sagen, die Verwendung von synthetischen Daten kritisieren oder sogar Fragen zur Darstellung der Daten in realen Szenarien stellen. Autoren haben verschiedene Möglichkeiten zu reagieren, einschliesslich der Zustimmung zum Vorschlag oder der Erklärung, warum das vielleicht nicht machbar ist.

#Aufgabenübersicht

Wir haben zwei Hauptaufgaben:

1. Kommentar-Änderungs-Zuordnung: Bei dieser Aufgabe erhält ein Computerprogramm einen Kommentar und eine Liste von Änderungen, die an einem Papier vorgenommen wurden. Ziel ist es herauszufinden, welche Änderungen den gegebenen Kommentar ansprechen.

2. Änderungsgenerierung: Hier bekommt das Programm einen Kommentar und die Originalversion eines Papiers und muss eine Änderung schreiben, die auf den Kommentar reagiert.

Wir haben einen neuen Datensatz namens "Aligned Review-Informed Edits of Scientific Papers" erstellt. Dieser Datensatz beinhaltet Arbeiten, Feedback und die von den Autoren in Reaktion auf dieses Feedback vorgenommenen Änderungen.

#Datensammlung

Um diesen Datensatz aufzubauen, haben wir Entwürfe von Arbeiten, deren Bewertungen und überarbeitete Versionen von verschiedenen wissenschaftlichen Konferenzen gesammelt. Zuerst haben wir Teile der Bewertungen identifiziert, die umsetzbare Kommentare enthielten. Diese Kommentare sind solche, die spezifische Änderungen vorschlagen, um das Manuskript zu verbessern. Zum Beispiel könnte ein Kommentar direkt verlangen, dass die Autoren zusätzliche Experimente hinzufügen oder eine Methode klarer ausführen.

Nachdem wir diese Kommentare gefunden hatten, haben wir sie mit den entsprechenden Änderungen in den Papieren abgeglichen. Dieser Prozess erforderte viel sorgfältige Arbeit, um sicherzustellen, dass wir genau identifizierten, welche Änderungen auf welche Kommentare reagierten. Manchmal forderten Kommentare Änderungen, die im Text nicht direkt sichtbar waren, wie Änderungen an Abbildungen oder Tabellen.

Angesichts des grossen Datenvolumens haben wir auch eine Methode entwickelt, um automatisiert Kommentar-Änderungs-Zuordnungen zu generieren. Dabei haben wir die Antworten der Autoren genutzt, in denen sie häufig direkt die Kommentare der Gutachter zitieren. Wir haben festgestellt, dass es eine hohe Übereinstimmung zwischen dem, was in den Antworten zitiert wurde, und den vorgenommenen Änderungen gab.

#Kommentar-Änderungs-Zuordnung

Die Kommentar-Änderungs-Zuordnungsaufgabe besteht darin, zu bestimmen, welche Änderungen in Reaktion auf ein Papier spezifische Gutachterkommentare betreffen. Dafür haben wir mehrere Modelle evaluiert, um zu sehen, wie sie bei der Aufgabe abschnitten.

Wir haben festgestellt, dass selbst die besten Modelle Schwierigkeiten hatten, Kommentare genau ihren entsprechenden Änderungen zuzuordnen. Es gab mehrere Gründe für diese Schwierigkeiten. Die Kommentare konnten indirekt sein, und selbst wenn ein Kommentar verstanden wurde, fand das Modell möglicherweise nicht die genaue Änderung, die darauf reagierte.

Als wir uns auf spezifische Arten von Änderungen konzentrierten, bemerkten wir, dass Kommentare, die mit subtileren Änderungen verbunden waren, besonders schwierig zuzuordnen waren. Unsere Auswertung zeigte, dass bestehende Modelle, einschliesslich grosser Modelle wie GPT-4, nicht die Genauigkeit der menschlichen Leistung bei dieser Zuordnungsaufgabe erreichen konnten.

#Änderungsgenerierung

Die Änderungsgenerierungsaufgabe erforderte von den Programmen, Änderungen zu erstellen, die auf spezifische Kommentare reagierten. Wir fanden heraus, dass die generierten Änderungen oft kohärent und mit den Kommentaren verbunden waren, sie jedoch häufig die Details vermissten, die ein echter Autor einfügen würde. Die von GPT-4 erstellten Änderungen hielten sich oft eng an die Wortwahl des Kommentars, anstatt eine tiefere, technischere Überarbeitung anzustreben.

Ein wichtiger Aspekt, den wir untersucht haben, war, ob die generierten Änderungen technische Details enthielten. Im Vergleich zu von Menschen verfassten Änderungen fehlten den vom Modell erstellten oft spezifische Daten oder detaillierte Erklärungen. Während die Änderungen des Modells vielleicht geradliniger waren, drangen sie nicht in die notwendige Tiefe vor, die erfahrene Autoren bieten würden.

#Vergleich von menschlichen und modellgenerierten Änderungen

Nach der Überprüfung sowohl der modellgenerierten als auch der menschlich verfassten Änderungen entdeckten wir einige wesentliche Unterschiede. Die menschlichen Änderungen waren tendenziell stärker im Kontext des Papiers integriert, während die Modelländerungen oft mehr wie eigenständige Antworten wirkten. Ausserdem waren menschliche Autoren weniger geneigt, einfach die Worte des Gutachters zu wiederholen, während das Modell häufig Kommentare umschrieb, anstatt originelle Inhalte bereitzustellen.

Wir kategorisierten Änderungen anhand mehrerer Faktoren, einschliesslich der Übereinstimmung mit dem Kommentar, technischen Details und ob sie das Feedback umschrieben. Die Ergebnisse zeigten, dass Modelländerungen oft weniger technisch und weniger umsetzungsstark waren, im Gegensatz zu menschlichen Autoren, die möglicherweise gegen Feedback argumentieren würden, wenn sie es für unbegründet hielten.

#Herausforderungen und Erkenntnisse

Während unserer Analyse haben wir wiederkehrende Herausforderungen beobachtet, mit denen sowohl Modelle als auch menschliche Autoren beim Ansprechen von Gutachterkommentaren konfrontiert sind. Viele Kommentare waren von Natur aus komplex und erforderten ein Verständnis des vollständigen Kontexts des Textes. Diese Komplexität führte oft zu Missverständnissen zwischen Kommentaren und Änderungen.

Zum Beispiel hatten die Modelle Schwierigkeiten mit indirekten Kommentaren. Diese Kommentare konnten Handlungen implizieren, ohne es direkt auszusprechen, was es dem Modell erschwerte, sie mit einer passenden Änderung zu verbinden. Ausserdem, wenn Kommentare nicht eng mit der Sprache übereinstimmten, die in den Änderungen verwendet wurde, verpassten die Modelle oft die Verbindung ganz.

Wir fanden heraus, dass direkte Kommentare – solche, die klar eine notwendige Handlung anzeigten – zu einer besseren Leistung der Modelle führten als indirekte Kommentare, die mehr Interpretation erforderten.

#Zukünftige Richtungen

In Zukunft wollen wir die Aufgaben der Kommentar-Änderungs-Zuordnung und der Änderungsgenerierung verbessern. Dazu gehört, wie Modelle das Feedback der Gutachter interpretieren und ihre Antworten anpassen. Ein potenzielles Forschungsgebiet für die Zukunft ist die Verbesserung der Fähigkeit der Modelle, den Kontext aus dem gesamten Papier zu integrieren, anstatt Kommentare isoliert zu verarbeiten.

Ausserdem möchten wir unsere Arbeiten über wissenschaftliche Arbeiten in der Informatik hinaus ausdehnen und uns anderen wissenschaftlichen Bereichen und Sprachen zuwenden. Das wird helfen, zu verstehen, wie Feedback in verschiedenen Disziplinen strukturiert ist und die Fähigkeit der Modelle verbessern, mit verschiedenen Formen von Feedback umzugehen.

Zusammenfassend lässt sich sagen, dass unsere Ergebnisse zwar die aktuellen Einschränkungen der Nutzung grosser Sprachmodelle zur Bearbeitung wissenschaftlicher Arbeiten hervorheben, sie auch Bereiche für Wachstum aufzeigen und das Potenzial für die Entwicklung effektiverer Schreibassistenten empfehlen. Die Erkenntnisse aus den Unterschieden zwischen modellgenerierten und menschlich generierten Änderungen werden zukünftige Studien informieren, die darauf abzielen, die Fähigkeiten dieser Systeme zu verbessern.

Mit den fortlaufenden Fortschritten in der Technologie zur Unterstützung beim Schreiben gibt es die Möglichkeit, Werkzeuge zu schaffen, die den Überarbeitungsprozess für Forscher in verschiedenen Disziplinen erheblich erleichtern können. Letztendlich ist das Ziel, Systeme zu entwickeln, die nicht nur Feedback geben, sondern dies auf eine Weise tun, die die Tiefe und Komplexität wissenschaftlicher Forschung respektiert.