Simple Science

Hochmoderne Wissenschaft einfach erklärt

# Biologie# Neurowissenschaften

Bildprobleme in Forschungsstudien angehen

Ein Blick auf Bildmanipulation in präklinischen Studien und ihre Auswirkungen auf systematische Übersichtsarbeiten.

― 6 min Lesedauer


Betrugsrisiken durchBetrugsrisiken durchBilder in der Forschungdie wissenschaftliche Integrität.Bildmanipulation in Studien beeinflusstDie Identifizierung von
Inhaltsverzeichnis

Systematische Übersichten sind wichtig, um Beweise in der Medizin zu sammeln und zu bewerten. Sie helfen dabei, die besten Praktiken für die Patientenversorgung zu bestimmen und tragen dazu bei, biologische Prozesse und die Medikamentenentwicklung zu verstehen. Allerdings gibt es ein drängendes Problem, wie man mit Studien umgeht, die möglicherweise nicht vertrauenswürdig sind. Wann sollten wir eine Studie wegen Zweifeln an ihrer Gültigkeit aus der Betrachtung nehmen?

Viele Richtlinien gehen davon aus, dass Forscher ihre Studien ehrlich durchführen, aber was passiert, wenn diese Annahme unzuverlässig ist? Dieser Artikel bespricht Ergebnisse im Zusammenhang mit systematischen Übersichten in präklinischen Studien, insbesondere in Bezug auf Probleme mit Bildern in Forschungsarbeiten.

Das Problem gefälschter Studien

In unserer letzten Arbeit, während wir Studien zu Depressionen bei Labormäusen überblickten, stiessen wir auf zahlreiche Papiere mit Bildern, die Fragen aufwarfen. Viele dieser Bilder deuteten darauf hin, dass Daten möglicherweise manipuliert oder gefälscht wurden. Das führte uns dazu, eine gründliche Untersuchung der Probleme durchzuführen, auf die wir während unseres Überprüfungsprozesses gestossen sind.

Unsere Ergebnisse deuten darauf hin, dass solche gefälschten Studien häufiger sein könnten als bisher gedacht und die Gesamtfazitssystematischer Übersichten verzerren. Die traditionellen Methoden zur Erkennung von Studien niedriger Qualität sind unzureichend, um diese problematischen Papiere zu identifizieren.

Methodik: Bewertung von Bildproblemen

Um das Ausmass des Problems zu verstehen, haben wir eine grosse Anzahl veröffentlichter Studien untersucht. Unser Fokus lag auf präklinischen Forschungen, die chronischen Stress bei Ratten und dessen Auswirkungen auf depression-ähnliche Verhaltensweisen betreffen, gemessen an einem Test, der bewertet, wie sehr die Ratten süsse Lösungen mögen. Wir haben speziell Studien betrachtet, die ein chronisches Stressprotokoll von mindestens zwei Wochen anwendeten und darauf geachtet, wie die Ratten vor dem Test behandelt wurden.

Nach der Prüfung zahlreicher Publikationen haben wir eine erhebliche Anzahl von Papiere wegen problematischer Bilder gekennzeichnet. Um diese Probleme zu klassifizieren, haben wir ein System verwendet, das sie in drei Ebenen einteilt.

  • Typ I Duplikate: Treten auf, wenn dasselbe Bild mehrfach im selben Papier erscheint, aber behauptet wird, es repräsentiere andere Daten.
  • Typ II Duplikate: Beziehen sich auf Teile eines Bildes, die dupliziert und möglicherweise verändert wurden, wie z.B. gedreht oder gespiegelt.
  • Typ III Duplikate: Deuten auf klare Manipulation hin, bei der Merkmale hinzugefügt oder entfernt wurden oder mehrere Bilder unangemessen zusammengeführt wurden.

Zusätzlich zu diesen Kategorien haben wir eine allgemeine "Sonstiges"-Kategorie für Probleme aufgenommen, die nicht klar in die ersten drei passen.

Ergebnisse: Häufigkeit von Problemen

Wir haben insgesamt 1.035 veröffentlichte Papiere überprüft, von denen 588 Daten in Bildform präsentierten, ohne nicht-bildliche Darstellungen wie Grafiken zu berücksichtigen. Von diesen zeigten 112 Papiere irgendeine Form von Bildproblem, das ist fast eins von fünf.

Das besorgniserregendste Ergebnis war die Häufigkeit von Typ II und III Problemen. Das deutet darauf hin, dass eine erhebliche Anzahl von Papiere klare Beweise für Manipulation aufwies. Einfache Duplikate (Typ I) waren viel seltener.

Wir fanden Bildprobleme über verschiedene Arten von Datendarstellungen hinweg, wobei Western Blot-Bilder am häufigsten problematisch waren. Diese Probleme waren oft nicht nur kleine Fehler; viele Fälle von Duplikation waren komplex und schwer als blosse Nachlässigkeit zu rechtfertigen.

Auswirkungen auf systematische Übersichten

Unsere Bewertung der Studien, die in unsere systematische Übersicht aufgenommen wurden, ergab, dass zehn der gekennzeichneten Papiere unsere anfänglichen Auswahlkriterien durchliefen. Als wir uns die Auswirkungen dieser Studien auf unsere Ergebnisse zum Sucrose-Präferenz-Test, der angibt, wie sehr Ratten eine zuckrige Lösung mögen, näher ansahen, bemerkten wir, dass fast alle gekennzeichneten Studien signifikante Unterschiede im Verhalten zwischen gestressten und Kontrollratten berichteten.

Interessanterweise wiesen die gekennzeichneten Studien durchschnittlich grössere Effektgrössen auf als die Studien ohne gekennzeichnete Probleme. Während diese gekennzeichneten Studien nicht als besonders extrem herausstachen, trugen sie zu einem überhöhten Verständnis der Ergebnisse unserer systematischen Übersicht bei.

Zitations- und Impact-Faktor-Analyse

Bei der Analyse der Rolle von Zitationen und Journal-Impact-Faktoren zur Identifizierung potenziell gefälschter Studien fanden wir heraus, dass Papiere mit Bildproblemen genauso oft zitiert wurden wie solche ohne. Das war überraschend, da viele Akademiker glauben, sie könnten sich auf Zitatzahlen verlassen, um unzuverlässige Studien zu vermeiden.

Ausserdem gab es keinen signifikanten Unterschied in den Impact-Faktoren von Zeitschriften, die Papiere mit Bildproblemen veröffentlichten, im Vergleich zu denen ohne. Das deutet darauf hin, dass es nicht effektiv ist, sich auf den Ruf von Zeitschriften zu verlassen, um vertrauenswürdige Studien zu identifizieren.

Geografische und institutionelle Einblicke

Unsere systematische Übersicht berührte auch die Zugehörigkeiten der Autoren. Ein erheblicher Teil der überprüften Studien wurde von Forschern aus verschiedenen Ländern verfasst, einschliesslich solcher, die oft als problematisch in Bezug auf akademische Integrität bezeichnet werden. Allerdings zeigen unsere Ergebnisse, dass diese Probleme nicht auf eine bestimmte Region oder ein bestimmtes Labor beschränkt waren.

Die beobachtete Rate von Bildproblemen war in verschiedenen Ländern ähnlich, was darauf hindeutet, dass das Problem der Forschungsschwindel weit verbreitet ist und nicht auf eine bestimmte Gruppe von Forschern beschränkt ist.

Reaktionen auf gefälschte Ergebnisse

Die unangenehme Realität, gefälschte Studien zu begegnen, wirft schwierige Fragen auf. Viele Forscher könnten argumentieren, dass gefälschte Studien selten sind und dass sie persönlich noch nicht auf solche gestossen sind, was zu einem allgemeinen Glauben führt, dass diese Probleme die wissenschaftliche Gemeinschaft nicht durchdringen.

Unsere Überprüfung zeigt jedoch, dass betrügerische Praktiken - obwohl oft von einer kleinen Anzahl von Individuen begangen - die wissenschaftliche Literatur erheblich beeinträchtigen können. Die kleine Gruppe von Forschern, die Betrug begeht, kann eine grosse Menge an Arbeit produzieren, was die Bemühungen, diese Probleme zu identifizieren und zu beheben, weiter kompliziert.

Schritte nach vorn zur Verbesserung

Um die Herausforderungen zu bewältigen, die durch diese potenziell gefälschten Studien entstehen, ist es klar, dass wir eine gründlichere Überprüfung bei der Evaluierung von Forschungsarbeiten annehmen müssen. Derzeit reicht es nicht aus, sich nur auf Peer-Review, Zitationsindizes oder Journal-Impact-Faktoren zu verlassen.

Wir schlagen vor, dass jedes Papier, das doppelte Bilder aufweist - unabhängig davon, ob sie auf Nachlässigkeit oder absichtlicher Manipulation zu stammen scheinen - von systematischen Übersichten und Metaanalysen ausgeschlossen werden sollte. Das erfordert stärkere Rechenschaftspflichten für Forscher und Zeitschriften, um sicherzustellen, dass Probleme proaktiv behoben werden.

Fazit

Unsere Ergebnisse zeigen eine besorgniserregende Häufigkeit von bildbezogenen Problemen in präklinischen Studien zur Depression, was ein signifikantes Problem in der wissenschaftlichen Literatur hervorhebt. Viele Studien, die problematische Bilder präsentieren, könnten irreführende Schlussfolgerungen in systematischen Übersichten beitragen, und sie könnten die Integrität des Forschungsfeldes als Ganzes untergraben.

Deshalb ist es wichtig, dass die wissenschaftliche Gemeinschaft stärkere Massnahmen gegen gefälschte Studien ergreift. Wir müssen ein Umfeld kultivieren, in dem strenge Standards aufrechterhalten werden, um die fortlaufende Verfolgung von zuverlässiger und gültiger Forschung zu ermöglichen, die letztlich unser Verständnis der medizinischen Wissenschaft vorantreiben kann.

Originalquelle

Titel: Fraudulent studies are undermining the reliability of systematic reviews - a study of the prevalence of problematic images in preclinical studies of depression

Zusammenfassung: Systematic reviews are considered by many to constitute the highest level of scientific evidence. A caveat is that the methods used in a systematic review - combining information from multiple studies - are predicated on all of the reports being truthful. Currently, we do not know how frequent fraudulent studies are in systematic reviews, or how they affect the resulting evidence base. For a systematic review of preclinical studies of depression, we found that potentially fraudulent studies were not only common but also that they biased the findings of the review. In a sample of 1,035 studies, we found that 19 % of peer-reviewed reports displayed data in the form of problematic images. In a majority of the cases, images had been altered or recycled in a way that makes us suspect foul play. Making things worse, these studies reported larger effect sizes, on average, than did studies where we did not identify problems. Counter to commonly held beliefs, reports with problematic images were not cited less or published in lower-impact journals, nor were their authors isolated to any specific geographic area. The sheer prevalence of problematic studies, and the fact that we could not find a simple pattern for identifying them, undermines the validity of systematic reviews within our research field. We suspect that this is symptomatic of a broader problem that needs immediate addressing.

Autoren: Otto Kalliokoski, J. P. Berrio

Letzte Aktualisierung: 2024-02-15 00:00:00

Sprache: English

Quell-URL: https://www.biorxiv.org/content/10.1101/2024.02.13.580196

Quell-PDF: https://www.biorxiv.org/content/10.1101/2024.02.13.580196.full.pdf

Lizenz: https://creativecommons.org/licenses/by/4.0/

Änderungen: Diese Zusammenfassung wurde mit Unterstützung von AI erstellt und kann Ungenauigkeiten enthalten. Genaue Informationen entnehmen Sie bitte den hier verlinkten Originaldokumenten.

Vielen Dank an biorxiv für die Nutzung seiner Open-Access-Interoperabilität.

Ähnliche Artikel