Discrepanze nella Ricerca: Un Problema di Fiducia
La ricerca mostra che ci sono spesso incongruenze tra gli studi registrati e quelli pubblicati.
― 6 leggere min
Indice
- L'Ascesa dei Registri di Sperimentazioni Cliniche
- Espandersi Oltre le Sperimentazioni Cliniche
- Revisione Sistematica delle Discrepanze
- Tipi di Discrepanze
- Risultati Principali
- Fattori Associati alle Discrepanze
- Discrepanze Non Relative agli Esiti
- Lacune nella Ricerca
- Conclusione
- Fonte originale
- Link di riferimento
Negli ultimi anni, c'è stata una spinta verso una maggiore Trasparenza nella ricerca, specialmente nelle sperimentazioni cliniche. Questo movimento ha portato alla creazione di registri di studi clinici, dove i ricercatori devono registrare i loro studi prima di iniziare. L'obiettivo è migliorare la condivisione delle informazioni, aiutare a reclutare partecipanti ed evitare problemi come il bias di pubblicazione, dove vengono condivisi solo certi Risultati mentre altri vengono nascosti.
L'Ascesa dei Registri di Sperimentazioni Cliniche
Nel 2000, sono stati lanciati due registri principali, ClinicalTrials.gov e l'ISRCTN Registry. Queste piattaforme miravano a fornire un posto dove i ricercatori potessero elencare i loro studi, facilitando la ricerca di volontari e la raccolta di dati in modo più efficace. Nel 2005, un gruppo di editori di riviste mediche ha deciso che se uno studio non era registrato prima di iniziare, non sarebbe stato considerato per la pubblicazione. Questa regola ha portato molte riviste ad adottare politiche simili.
Nonostante la crescita e l'uso di questi registri, molti studi non seguono ancora le regole. Alcuni studi vengono registrati solo dopo l'inizio, il che non è l'intento di questi registri. Altri potrebbero non essere pubblicati affatto o potrebbero riportare risultati diversi rispetto a quelli registrati senza menzionare il cambiamento. Questo può creare confusione e ridurre la fiducia nella ricerca condivisa.
Espandersi Oltre le Sperimentazioni Cliniche
Mentre le sperimentazioni cliniche hanno fatto progressi verso la Registrazione, anche altri campi di ricerca stanno iniziando a vedere il valore di questa pratica. Ad esempio, in psicologia, i ricercatori sono diventati più consapevoli di questioni legate alla replicazione, dove gli studi non possono essere ripetuti con gli stessi risultati. Per combattere questo, molti psicologi hanno iniziato a registrare i loro studi per ridurre il bias e rendere i loro risultati più affidabili.
Altri campi hanno creato registri specifici. Ad esempio, PROSPERO è utilizzato per le revisioni sistematiche, mentre l'American Economic Association ha un registro per gli studi clinici randomizzati. L'obiettivo è garantire che gli studi siano condotti in modo equo, con risultati che possano essere considerati affidabili.
Revisione Sistematica delle Discrepanze
È stata condotta una revisione completa, esaminando molti studi per vedere quanto spesso i risultati pubblicati corrispondessero a quelli registrati. Questa revisione si è concentrata su diversi tipi di discrepanze. Ha preso in considerazione studi di vari campi, non solo delle sperimentazioni cliniche, e ha utilizzato più registri per raccogliere informazioni.
La revisione ha incluso 89 articoli che esaminavano le discrepanze tra ciò che era registrato e ciò che era pubblicato. Il termine "discrepanza" si riferisce a qualsiasi differenza tra i dettagli registrati di uno studio e i suoi risultati pubblicati. Guardando a questi dati, i ricercatori potevano valutare quanto spesso si verificavano queste incoerenze.
Tipi di Discrepanze
La revisione ha scoperto che ci sono diversi tipi di discrepanze. Alcune riguardano i risultati principali-ciò che lo studio si proponeva di raggiungere. Altre coinvolgono discrepanze non relative agli esiti, come le differenze nel numero di partecipanti o nei metodi utilizzati. Ad esempio, se uno studio registrava un risultato specifico ma pubblicava un altro, questo sarebbe considerato una discrepanza di risultato.
Una tabella nella revisione ha classificato queste discrepanze in dieci tipi per i risultati e dieci tipi per le non-discrepanze. Le informazioni sono state raccolte da oltre 7.000 studi, rivelando che le discrepanze sono comuni e variano notevolmente tra diversi studi.
Risultati Principali
La revisione ha rivelato che il 29-37% degli studi aveva almeno una discrepanza nel loro risultato principale. Questo significa che in molti casi, i risultati riportati nelle riviste non corrispondevano a quelli elencati nei registri. L'intervallo di previsione suggerisce che questo numero potrebbe essere tanto basso quanto il 10% o tanto alto quanto il 68%.
Per i risultati secondari, la situazione era ancora più pronunciata, con stime che mostrano che il 50-75% degli studi aveva discrepanze. Questi risultati evidenziano non solo la prevalenza delle discrepanze ma anche la variabilità a seconda del tipo di risultato misurato.
Fattori Associati alle Discrepanze
Alcuni fattori sembrano influenzare la probabilità di discrepanze. La revisione ha esaminato se le discrepanze erano divulgate negli articoli pubblicati, l'importanza dei risultati, la fonte di finanziamento e quando lo studio era stato registrato.
È interessante notare che è emerso che gli studi con registrazioni chiare e aggiornate avevano meno discrepanze rispetto a quelli registrati più tardi. Alcuni articoli hanno cercato di esplorare questa relazione ma non sono riusciti a individuare una ragione chiara per le differenze.
Discrepanze Non Relative agli Esiti
La revisione ha esaminato anche le discrepanze non relative agli esiti, che includevano problemi come le differenze nella dimensione del campione o nei metodi di analisi. Anche queste discrepanze mostravano spesso alta variabilità. I risultati suggerivano che i ricercatori a volte riportavano in modo errato o omettevano dettagli critici sui loro studi.
Lacune nella Ricerca
La revisione ha identificato lacune significative nella letteratura esistente. Ad esempio, ci sono pochi studi sulle discrepanze in vari campi al di fuori delle sperimentazioni cliniche. C'è anche una mancanza di comprensione su come dettagli specifici nelle registrazioni possano influenzare la prevalenza delle discrepanze e quali interventi potrebbero aiutare a ridurre questi problemi.
Inoltre, molti articoli hanno sottolineato la necessità di una maggiore consapevolezza delle discrepanze e di politiche che impongano la registrazione. Alcuni ricercatori hanno suggerito che informazioni più complete, come i piani di analisi, dovrebbero essere registrate insieme agli studi per migliorare ulteriormente la trasparenza.
Conclusione
Le evidenze suggeriscono una tendenza preoccupante nel mondo della ricerca scientifica, dove le discrepanze tra studi registrati e pubblicati sono comuni. Questo può minare la fiducia nei risultati della ricerca. Mentre i registri delle sperimentazioni cliniche hanno fatto alcuni progressi positivi, necessitano ancora di una migliore adesione alle linee guida.
Guardando avanti, è fondamentale per la comunità di ricerca concentrarsi non solo sull'identificazione delle discrepanze ma anche su come prevenirle. Questo implica sviluppare sistemi più solidi per la registrazione, mantenere l'integrità delle pratiche di ricerca e incoraggiare i ricercatori a rispettare i loro impegni verso la trasparenza.
In generale, i risultati di questa revisione sistematica sottolineano l'importanza di avere documentazione di ricerca chiara e accessibile che possa essere considerata affidabile sia dai ricercatori che dal pubblico. Lavorando verso questi obiettivi, la comunità di ricerca può contribuire a garantire che gli studi condotti siano degni di fiducia e che i loro risultati siano riportati con precisione.
Titolo: Estimating the prevalence of discrepancies between study registrations and publications: A systematic review and meta-analyses
Estratto: ObjectivesProspectively registering study plans in a permanent time-stamped and publicly accessible document is becoming more common across disciplines and aims to reduce risk of bias and make risk of bias transparent. Selective reporting persists, however, when researchers deviate from their registered plans without disclosure. This systematic review aimed to estimate the prevalence of undisclosed discrepancies between prospectively registered study plans and their associated publication. We further aimed to identify the research disciplines where these discrepancies have been observed, whether interventions to reduce discrepancies have been conducted, and gaps in the literature. DesignSystematic review and meta-analyses. Data sourcesScopus and Web of Knowledge, published up to 15 December 2019. Eligibility criteriaArticles that included quantitative data about discrepancies between registrations or study protocols and their associated publications. Data extraction and synthesisEach included article was independently coded by two reviewers using a coding form designed for this review (osf.io/728ys). We used random-effects meta-analyses to synthesize the results. ResultsWe reviewed k = 89 articles, which included k = 70 that reported on primary outcome discrepancies from n = 6314 studies and, k = 22 that reported on secondary outcome discrepancies from n = 1436 studies. Meta-analyses indicated that between 29% to 37% (95% confidence interval) of studies contained at least one primary outcome discrepancy and between 50% to 75% (95% confidence interval) contained at least one secondary outcome discrepancy. Almost all articles assessed clinical literature, and there was considerable heterogeneity. We identified only one article that attempted to correct discrepancies. ConclusionsMany articles did not include information on whether discrepancies were disclosed, which version of a registration they compared publications to, and whether the registration was prospective. Thus, our estimates represent discrepancies broadly, rather than our target of undisclosed discrepancies between prospectively registered study plans and their associated publications. Discrepancies are common and reduce the trustworthiness of medical research. Interventions to reduce discrepancies could prove valuable. Registrationosf.io/ktmdg. Protocol amendments are listed in Supplementary Material A.
Autori: Robert T Thibault, TARG Meta-Research Group & Collaborators, R. Clark, H. Pedder, O. van den Akker, S. Westwood, J. Thompson, M. Munafo
Ultimo aggiornamento: 2023-06-19 00:00:00
Lingua: English
URL di origine: https://www.medrxiv.org/content/10.1101/2021.07.07.21259868
Fonte PDF: https://www.medrxiv.org/content/10.1101/2021.07.07.21259868.full.pdf
Licenza: https://creativecommons.org/licenses/by/4.0/
Modifiche: Questa sintesi è stata creata con l'assistenza di AI e potrebbe presentare delle imprecisioni. Per informazioni accurate, consultare i documenti originali collegati qui.
Si ringrazia medrxiv per l'utilizzo della sua interoperabilità ad accesso aperto.