Esaminare la trasparenza nei registri delle sperimentazioni cliniche
Uno studio rivela discrepanze comuni nei risultati delle sperimentazioni cliniche e nella loro reportistica.
― 6 leggere min
Indice
- Aggiornamento dei registri e rischio di bias
- Ricerca precedente sulle Discrepanze
- Obiettivi di questo studio
- Fonti di dati e selezione del campione
- Criteri di idoneità per gli studi inclusi
- Estrazione e elaborazione dei dati
- Valutazione delle discrepanze negli esiti
- Risultati generali sulle discrepanze
- Segnalazione dei cambiamenti negli esiti nelle pubblicazioni
- Caratteristiche associate ai cambiamenti negli esiti
- Conclusioni
- Fonte originale
- Link di riferimento
I Registri delle sperimentazioni cliniche sono strumenti importanti per mantenere la ricerca clinica trasparente e affidabile. Aiutano a rendere facilmente accessibili informazioni chiave sugli studi. Una preoccupazione principale nelle sperimentazioni cliniche è la segnalazione selettiva, dove i ricercatori possono condividere solo certi Risultati che rendono i loro risultati più positivi. Questo può creare un'immagine fuorviante dell'efficacia di una sperimentazione.
Un problema significativo è quando gli esiti attesi di uno studio cambiano dopo l'inizio. Questo solleva interrogativi sull'affidabilità dei risultati. Per affrontare questo, le linee guida suggeriscono che gli studi devono chiaramente dichiarare i loro esiti primari e secondari prima dell'inizio della sperimentazione. Se gli esiti vengono modificati in seguito, i ricercatori dovrebbero spiegare il perché. Senza questa trasparenza, i lettori non possono giudicare accuratamente l'impatto di questi cambiamenti sui risultati dello studio.
Aggiornamento dei registri e rischio di bias
Molti registri, come ClinicalTrials.gov, permettono ai ricercatori di aggiornare le loro voci di studio dopo la registrazione iniziale. Anche se questo è utile per riflettere cambiamenti o nuove informazioni su uno studio, può anche introdurre il rischio di bias nella segnalazione. Se le voci non vengono mantenute correttamente o cambiamenti significativi non vengono riportati, questo può distorcere la percezione dei risultati dello studio.
Le linee guida etiche raccomandano che le sperimentazioni siano registrate in anticipo e che eventuali cambiamenti al protocollo originale siano segnalati in modo trasparente. Tuttavia, molti revisori non controllano questi aggiornamenti a fondo prima di pubblicare i risultati. Basta guardare l'ultima voce di un registro può essere fuorviante, poiché cambiamenti essenziali durante lo studio potrebbero essere nascosti.
Ricerca precedente sulle Discrepanze
Studi passati hanno esaminato con quale frequenza si verificano discrepanze tra ciò che è riportato nei registri delle sperimentazioni e ciò che è Pubblicato. I risultati mostrano che questo problema è piuttosto comune, con molti studi che subiscono modifiche ai loro esiti primari. Eppure, la maggior parte degli studi non menziona quale versione della voce del registro ha utilizzato per il confronto.
Alcune ricerche hanno anche tracciato la cronologia della registrazione degli esiti e dei cambiamenti utilizzando le storie dei registri, ma solo pochi studi hanno esaminato le discrepanze nell'intera storia del registro di una sperimentazione. Nessuno studio ha quantificato quante modifiche passano inosservate considerando solo l'ultima versione del registro.
Obiettivi di questo studio
Lo scopo di questo studio era:
- Valutare con quale frequenza vengono riportati cambiamenti degli esiti primari all'interno dei registri.
- Cercare discrepanze tra l'ultima voce del registro e ciò che è pubblicato.
- Identificare cambiamenti che potrebbero essere nascosti e non apparire come discrepanze confrontando l'ultima voce del registro con la pubblicazione.
- Valutare con quale frequenza entrambi i tipi di cambiamenti sono riportati nei risultati pubblicati.
- Scoprire quali caratteristiche degli studi sono collegate a problemi di segnalazione.
Fonti di dati e selezione del campione
Questa analisi si è concentrata su dati di studi intervenzionali completati presso i Centri Medici Universitari Tedeschi dal 2009 al 2017. Queste sperimentazioni erano registrate su ClinicalTrials.gov o sul Deutsches Register Klinischer Studien (DRKS), che è il principale registro della Germania. I dataset includevano link ai risultati pubblicati corrispondenti, che sono stati identificati tramite ricerche manuali.
Criteri di idoneità per gli studi inclusi
Abbiamo incluso studi che soddisfacevano i seguenti criteri:
- Avevano una voce nel registro su ClinicalTrials.gov o DRKS.
- Erano completati tra il 2009 e il 2017.
- Indicarono che un Centro Medico Universitario Tedesco era coinvolto nello studio.
- Avevano risultati pubblicati in formato completo.
- Erano registrati come studi randomizzati.
Estrazione e elaborazione dei dati
Il nostro approccio ha combinato l'estrazione automatica dei dati con le valutazioni dei revisori per identificare discrepanze negli esiti. Abbiamo utilizzato voci storiche del registro per confrontare esiti primari e secondari in quattro punti chiave della timeline dello studio.
Valutazione delle discrepanze negli esiti
Due revisori hanno valutato in modo indipendente i cambiamenti negli esiti primari basandosi sui dati del registro. Hanno categorizzato le discrepanze negli esiti identificando differenze in punti chiave durante lo studio.
Per le discrepanze registro-pubblicazione, è stato selezionato un campione casuale di pubblicazioni e tre revisori hanno estratto gli esiti primari. Hanno confrontato questi esiti con quanto registrato nell'ultima voce del registro. Eventuali disaccordi sono stati risolti tramite discussione.
Risultati generali sulle discrepanze
In totale, abbiamo analizzato 1746 sperimentazioni cliniche. Di queste, 393 (23%) hanno riportato qualche forma di discrepanza negli esiti all'interno del registro. Discrepanze maggiori, dove un esito primario è stato aggiunto, rimosso o cambiato in un esito secondario, sono state trovate in 142 studi (8%). Era comune che cambiamenti si verificassero durante la sperimentazione e dopo la pubblicazione, con solo piccole discrepanze registrate in molti casi.
Per i 292 studi selezionati, 120 (41%) hanno mostrato discrepanze tra l'ultima voce del registro e gli esiti pubblicati. Tra questi, alcune erano maggiori e altre minori.
Inoltre, abbiamo trovato che 161 studi nel campione avevano qualche forma di discrepanza negli esiti. Di questi, 95 studi avevano discrepanze solo tra l'ultima voce del registro e la pubblicazione, indicando che molti cambiamenti erano nascosti.
Segnalazione dei cambiamenti negli esiti nelle pubblicazioni
Sorprendentemente, solo due dei 161 studi con cambiamenti negli esiti li hanno segnalati nelle loro pubblicazioni. Questo evidenzia un'importante lacuna nel modo in cui i cambiamenti vengono comunicati ai lettori. La maggior parte degli studi non ha menzionato alcun aggiustamento nei loro esiti, lasciando i lettori all'oscuro di potenziali bias.
Caratteristiche associate ai cambiamenti negli esiti
Alcuni fattori erano legati ai cambiamenti negli esiti all'interno dei registri. Gli studi sponsorizzati dall'industria erano più propensi a mostrare discrepanze rispetto agli studi non sponsorizzati. Gli studi registrati su ClinicalTrials.gov avevano anche una maggiore probabilità di discrepanze, in particolare quelli registrati prima.
Tuttavia, non c'era un legame significativo tra queste discrepanze e altre caratteristiche degli studi.
Conclusioni
L'analisi delle sperimentazioni cliniche completate in Germania mostra che le discrepanze negli esiti primari sono comuni. Molti cambiamenti si verificano nel corso dello studio, eppure spesso non vengono riportati. Questo solleva seri interrogativi sull'affidabilità dei risultati presentati nelle pubblicazioni di ricerca.
L'uso di una sola versione delle voci del registro può portare a una sottovalutazione di queste discrepanze. Gli editori di riviste e i revisori di pari spesso non riescono a utilizzare a fondo le informazioni dettagliate disponibili nei registri. Sono necessarie politiche editoriali più robuste per garantire che i registri storici delle sperimentazioni cliniche siano esaminati a fondo.
In generale, non è sufficiente esaminare solo l'ultima voce del registro e i risultati pubblicati. Una revisione completa di tutta la storia di registrazione è cruciale per fornire evidenze affidabili nella ricerca clinica.
Titolo: Hidden changes to prespecified primary outcomes of clinical trials completed between 2009 and 2017 in German University Medical Centres: A meta-research study
Estratto: ObjectivesTo assess how often clinical trials exhibit primary outcome discrepancies within registry records that would not be caught by comparing results publications to the latest registry entry, but would require analysing the registration history. DesignMeta-research study. SettingAll 1746 randomised clinical trials with published results, registered in ClinicalTrials.gov or Deutsches Register Klinischer Studien (DRKS), completed at German University Medical Centres between 2009 and 2017. We analysed registry entries for all trials and publications for a random sample of 292 trials. ParticipantsNot applicable. InterventionsNot applicable. Main outcome measures[1] Primary outcome discrepancies between registry entries at key study milestones and [2] the first results publication. [3] Hidden discrepancies, i.e., only reported in the registry before the last entry, meaning they would only be detected by assessing the full registry change history. We considered discrepancies major if primary outcomes were newly added, dropped, or changed to or from secondary outcomes. [4] Proportion of publications transparently reporting discrepancies. [5] Characteristics associated with open and hidden discrepancies. ResultsOf all 1746 trials, 23% (n=393) had primary outcome discrepancies between trial start and latest registry entry, with 8% (n=142) being major. Primary outcomes in publications were different from the latest registry entry in 41% of trials (120 of the 292 sampled trials; 95% CI [35%, 47%]), with major discrepancies in 18% (54 of 292; 95% CI [14%, 23%]). Hidden discrepancies were observed in 14% of trials (41/292; 95% CI [10%, 19%]). Only 1% of discrepancies were reported in the publications (2/161, 95% CI [0%, 4%]). Trials were more likely to have a within-registry discrepancy if they had an earlier registration year (OR 0.74; 95% CI [0.69, 0.80]), were registered on ClinicalTrials.gov (OR 0.41; 95% CI [0.23, 0.70]), or had been industry-sponsored (OR 0.29; 95% CI [0.21, 0.41]). ConclusionsChanges to primary trial outcomes are common, often have major relevance, are rarely transparently reported and typically not detectable with an inspection of the latest registry entry. Authors need to be more transparent and registry entries of published trials need to require more in-depth analysis to reveal potentially misleading reporting practices. Protocol registrationOpen Science Framework (https://osf.io/t3qva; amendment in https://osf.io/qtd2b).
Autori: Martin Holst, M. Haslberger, S. Yerunkar, D. Strech, L. G. Hemkens, B. G. Carlisle
Ultimo aggiornamento: 2023-02-21 00:00:00
Lingua: English
URL di origine: https://www.medrxiv.org/content/10.1101/2023.02.20.23286182
Fonte PDF: https://www.medrxiv.org/content/10.1101/2023.02.20.23286182.full.pdf
Licenza: https://creativecommons.org/licenses/by/4.0/
Modifiche: Questa sintesi è stata creata con l'assistenza di AI e potrebbe presentare delle imprecisioni. Per informazioni accurate, consultare i documenti originali collegati qui.
Si ringrazia medrxiv per l'utilizzo della sua interoperabilità ad accesso aperto.