Die Verbesserung der Peer-Review: Eine Studie zur Struktur

Die Peer-Review in Fachzeitschriften ist ein Prozess, der hilft zu entscheiden, ob eine Studie veröffentlicht werden sollte. Editoren bekommen Arbeiten von Forschern und schicken sie an andere Experten (Gutachter) zur Überprüfung. Die Gutachter prüfen, ob die Methoden, Daten und Schlussfolgerungen der Studie solide sind, bevor sie eine Empfehlung abgeben. Sie können empfehlen, die Arbeit so zu veröffentlichen, Änderungen zu verlangen oder sie ganz abzulehnen.

#Probleme mit der Peer-Review

Forschung hat gezeigt, dass es viele Probleme im Peer-Review-System gibt. Gutachter übersehen manchmal wichtige Probleme mit den Forschungsmethoden. Sie könnten Ergebnisse nicht richtig interpretieren, Referenzen falsch nutzen oder notwendige Details nicht berichten, die es anderen ermöglichen würden, die Studie zu replizieren. Es kann auch an fehlenden Informationen mangeln, um die Qualität der Studie oder mögliche Vorurteile zu beurteilen.

Viele Studien haben herausgefunden, dass verschiedene Gutachter oft nicht übereinstimmen. Eine Analyse ergab beispielsweise eine niedrige Übereinstimmungsrate von nur 34 %. Sogar neuere Daten zeigten, dass in einer Runde von Überprüfungen in vielen Zeitschriften nur 30 % der Gutachter übereinstimmten.

Ein Teil dieses Missmuts kann von den unklaren Fragen kommen, die die Gutachter beantworten sollen. Mit anderen Worten, wenn sie keine spezifischen Richtlinien haben, kann das zu unterschiedlichen Meinungen über die Qualität einer Arbeit führen.

#Die Elsevier-Pilotstudie

Im August 2022 führte Elsevier einen Test durch, um eine Reihe strukturierter Fragen zu testen, die Gutachter bei der Bewertung von Einreichungen nutzen konnten. Diese Pilotstudie umfasste 220 Zeitschriften aus verschiedenen Fachgebieten und mit unterschiedlichen Einflussfaktoren. Die Fragen sollten die Gutachter leiten, waren aber nicht verpflichtend, was bedeutete, dass sie entscheiden konnten, welche Fragen sie beantworten wollten.

Die Ziele dieser Pilotstudie beinhalteten die Überprüfung, wie die Gutachter die neuen Fragen nutzten, die Übereinstimmung zwischen den Gutachtern zu beobachten, die Übereinstimmungsraten mit der bisherigen Leistung der Zeitschriften zu vergleichen und das Fragen-Set zu verbessern.

#Überblick über den Überprüfungsprozess

Die Gutachter wurden gebeten, neun spezifische Fragen zur überprüften Forschung zu beantworten. Diese Fragen behandelten Dinge wie die Klarheit der Ziele der Studie, die Detailgenauigkeit der Methoden und die Richtigkeit der Ergebnisse. Einige Fragen erlaubten Ja-, Nein- oder nicht anwendbare Antworten, während andere offen waren, sodass die Gutachter ihre Gedanken erklären konnten. Nach diesen Fragen konnten die Gutachter auch zusätzliche Kommentare für sowohl die Autoren als auch die Editoren hinterlassen.

Von den Gutachtern wurde auch erwartet, dass sie eine endgültige Empfehlung abgeben, beispielsweise ob die Arbeit akzeptiert, überarbeitet oder abgelehnt werden sollte.

#Analyse der Gutachterantworten

Die Studie analysierte, wie die Gutachter die strukturierten Fragen beantworteten und zählte die Anzahl der Wörter in ihren Antworten. Dies geschah, indem untersucht wurde, wie viele Gutachter die Fragen richtig beantworteten oder Antworten im Kommentarfeld verfassten.

Die Kommentarabschnitte zeigten unterschiedliche Antworten. Einige Gutachter nutzten den Raum, um ihre Antworten zu ergänzen, während andere komplette Überprüfungsberichte, die sie zuvor vorbereitet hatten, kopierten.

#Kommentare der Gutachter

Von den Gutachtern nutzte eine grosse Mehrheit den Kommentarfeld, um ihre Gedanken hinzuzufügen. Viele verfassten traditionelle Überprüfungsberichte, die oft Zusammenfassungen und detailliertes Feedback enthielten. Die Wortanzahl dieser Kommentare variierte stark, wobei traditionelle Berichte länger waren als die, die nur die strukturierten Fragen verwendeten.

In Bezug darauf, wie gut die Kommentarabschnitte die strukturierten Fragen abdeckten, behandelten die meisten traditionellen Bewertungen vier oder fünf der neun Fragen, wobei in der Regel die Methoden und Interpretationen im Vordergrund standen, nicht jedoch Stärken oder Schwächen.

Bemerkenswerterweise waren Gutachter, die Kommentare für die Autoren verfassten, auch eher bereit, Notizen für die Editoren zu hinterlassen.

#Übereinstimmung unter den Gutachtern

Die Studie untersuchte genau, wie viel Übereinstimmung zwischen den Gutachtern zu den strukturierten Fragen bestand. Die höchste Übereinstimmung gab es bei der Bewertung der Organisation der Arbeit, während die niedrigste bei der Interpretation von Ergebnissen und Methoden lag.

Bei den endgültigen Empfehlungen stimmten etwa 41 % der Gutachter überein, was eine deutliche Verbesserung im Vergleich zu früheren Peer-Reviews darstellt, die nur eine Übereinstimmung von 30 % zeigten. Allerdings traten keine nennenswerten Unterschiede in der Übereinstimmung auf, basierend auf dem Studienbereich oder dem Einflussfaktor der Zeitschrift.

#Verfeinerung der Überprüfungsfragen

Nach der Analyse der Ergebnisse der Pilotstudie wurden Vorschläge gemacht, um die strukturierten Fragen zu verbessern. Anfangs waren einige Fragen so formuliert, dass unklar war, was eine "Ja"- oder "Nein"-Antwort bedeutete. Daher wurden die Fragen umformuliert, um eine konsistente Sprache zu haben.

Es wurden auch neue Fragen erstellt, die sich auf Standardabschnitte einer Arbeit konzentrierten. Ziel war es, eine klare und vereinfachte Möglichkeit für Gutachter zu schaffen, um Arbeiten zu bewerten, mit einer besseren Mischung aus Ja/Nein- und offenen Textoptionen, um konstruktiveres Feedback zu ermöglichen.

#Fazit zur strukturierten Peer-Review

Die Pilotstudie zeigte, dass die Verwendung strukturierter Peer-Review-Fragen von den Gutachtern gut angenommen wurde. Sie antworteten angemessen auf die Fragen, und die Übereinstimmungsraten untereinander waren besser als bei traditionellen Peer-Reviews.

Es wird empfohlen, dass Zeitschriften, die strukturierte Peer-Reviews verwenden, ihre Gutachter frühzeitig über die Fragen informieren, damit sie diese im Hinterkopf behalten können, wenn sie Arbeiten bewerten. Dieser Ansatz könnte einen konsistenteren und effizienteren Überprüfungsprozess schaffen, was letztendlich zu besseren Entscheidungen der Editoren und verbesserten Arbeiten der Autoren führen würde.

Autoren zu ermutigen, dieselben Fragen zur Selbstevaluierung zu verwenden, könnte ihnen auch helfen, ihre Einreichungen vor der Überprüfung zu verbessern.

Insgesamt könnte die strukturierte Peer-Review einen klareren Rahmen bieten, der zu faireren Bewertungen und Verbesserungen der Forschungsqualität führt.