Confronto tra RCT e Evidenze del Mondo Reale
Uno studio esamina le differenze tra RCT e evidenze del mondo reale.
― 5 leggere min
Indice
Le evidenze del mondo reale (RWE) si riferiscono a informazioni sugli effetti dei prodotti medici raccolte da dati della vita reale. Questi dati provengono da molte fonti legate alla salute dei pazienti, soprattutto dalla pratica clinica quotidiana come le cartelle cliniche elettroniche e le richieste di rimborso. Ultimamente, c'è stato un crescente interesse nell'uso delle RWE per aiutare a prendere decisioni cliniche e impostare politiche sanitarie. Tuttavia, alcune persone si chiedono quanto siano affidabili queste evidenze rispetto ai tradizionali studi clinici noti come studi controllati randomizzati (RCT).
I dubbi sorgono quando RCT e studi basati su database vengono visti come opzioni in opposizione invece che come modi diversi per raccogliere informazioni utili sugli effetti dei farmaci. Alcuni studi hanno mostrato che i risultati degli RCT e quelli degli studi basati su database spesso concordano, e studi ben progettati possono portare a conclusioni solide. Altri sostengono che le differenze nei risultati evidenziano i difetti degli studi basati su database.
Studio RCT-DUPLICATE
Uno sforzo significativo per confrontare gli RCT e gli studi basati su database è noto come RCT-DUPLICATE. Questa iniziativa mirava a replicare più di 30 studi usando studi basati su database progettati per seguire da vicino i disegni originali degli RCT. Tuttavia, poiché i dati utilizzati provenivano da pratiche cliniche regolari e non erano stati raccolti specificamente per la ricerca, alcuni aspetti degli studi non potevano essere abbinati esattamente. Le differenze possono essere riassunte in alcune aree chiave: come vengono misurati i risultati, le caratteristiche demografiche dei pazienti coinvolti, come i trattamenti vengono applicati nella vita reale e l'assenza di gruppi placebo nella pratica quotidiana.
Abbiamo studiato le differenze identificate nello studio RCT-DUPLICATE per capire come questi problemi di design influenzano le variazioni nei risultati tra RCT e studi basati su database. Ci siamo chiesti se queste differenze potessero aiutare a ridurre le incoerenze osservate tra RCT e studi del mondo reale nella nostra analisi.
Panoramica della metodologia
Lo studio RCT-DUPLICATE ha scelto attentamente 32 studi relativi a decisioni di approvazione di farmaci che potevano probabilmente essere replicati con i dati dei reclami. Questi studi selezionati includevano vari tipi di studi che testavano diverse strategie di trattamento e sono stati avviati utilizzando tre principali fonti di dati. L'obiettivo era imitare da vicino gli RCT entro i limiti dei dati del mondo reale disponibili.
L'analisi dei dati si è concentrata su studi i cui risultati potevano essere espressi come Rapporti di Rischio. Gli studi che mostravano un alto livello di variazione tra i database sono stati esclusi dall'analisi.
Differenze di Emulazione registrate
Durante lo studio RCT-DUPLICATE, i ricercatori hanno tracciato specifiche differenze nei disegni degli studi. Hanno annotato differenze nella distribuzione di età e sesso come valori numerici, riflettendo come questi fattori variano tra gli RCT e gli studi basati su database. Hanno anche registrato differenze categoriali nel design e le hanno riassunte in una misura composita binaria per indicare se una coppia di studi fosse considerata una “vicina emulazione”.
Uno studio è stato etichettato come una vicina emulazione se aveva una solida allineamento sia nelle misure di comparatore che di risultato, evitando determinati problemi di design come l’inizio dei follow-up in ospedale o l'inclusione di rispondenti ai trattamenti durante un periodo di avvio.
Analisi statistica
Per l'analisi statistica, sono stati utilizzati metodi specifici per garantire che i dati provenienti da RCT e studi RWE fossero normalmente distribuiti. Sono state applicate trasformazioni logaritmiche ai rapporti di rischio e sono state calcolate differenze standardizzate per confrontare i risultati degli RCT e degli studi RWE.
La variabilità tra gli studi è stata valutata utilizzando un approccio statistico che identifica le differenze in modo più accurato. Applicando un modello di regressione lineare basato sulle differenze osservate, i ricercatori potevano stimare l'eterogeneità tra le coppie di studi. Se alcune caratteristiche di design erano incluse in questo modello, era possibile spiegare alcune delle variazioni osservate.
Osservazioni dall'analisi
L'analisi dei risultati ha rivelato come i due tipi di studi si confrontassero. Le stime provenienti dagli RCT e le stime aggregate degli studi basati su database non sempre si allineavano perfettamente. Mentre molte stime aggregate RWE erano più piccole rispetto a quelle degli RCT, alcune erano addirittura più grandi. Questo comportamento contrasta con i risultati di progetti di replica più ampi, dove tipicamente gli effetti misurati negli studi di replica sono generalmente più piccoli rispetto agli studi originali.
La distribuzione delle differenze osservate ha indicato che quando l'emulazione era categorizzata come vicina, generalmente comportava differenze più piccole nei risultati. Tuttavia, restavano differenze significative per coloro che non erano categorizzati come vicine emulazioni.
Risultati principali sulle differenze di emulazione
I risultati hanno indicato tre caratteristiche principali associate alle variazioni nelle stime degli effetti: effetti del trattamento ritardati, interruzione della terapia di mantenimento durante lo studio e inizio del trattamento in ospedale. Questi fattori spiegavano gran parte delle differenze osservate tra RCT e studi RWE.
Curiosamente, l'assenza di comparatori placebo non ha contribuito in modo significativo alla variabilità osservata, contrariamente a quanto ci si sarebbe aspettato.
Limitazioni dello studio
I ricercatori hanno riconosciuto diverse limitazioni nei loro risultati. L'analisi ha utilizzato un campione ridotto di sole 29 coppie di studi, portando a un numero ristretto di caratteristiche che potevano essere incluse. Inoltre, gli studi inclusi sono stati scelti in base a specifici criteri che potrebbero non rappresentare tutte le aree cliniche. Questo significa che i risultati potrebbero non essere ampiamente applicabili in varie situazioni.
Conclusione
Questo studio illustra che gran parte delle differenze osservate tra RCT e studi di Evidenza del Mondo Reale possono essere attribuite a problemi di emulazione del design. Inoltre, evidenzia come metodi statistici come la meta-regressione possano aiutare a fornire un quadro più chiaro di queste variazioni.
Essere consapevoli di queste differenze è essenziale per i clinici e i ricercatori quando interpretano i risultati di entrambi i tipi di studi. L'obiettivo finale è prendere decisioni cliniche e politiche informate che possano beneficiare la cura dei pazienti basate su solide evidenze.
Titolo: Design differences explain variation in results between randomized trials and their non-randomized emulations
Estratto: ObjectivesWhile randomized controlled trials (RCTs) are considered a standard for evidence on the efficacy of medical treatments, non-randomized real-world evidence (RWE) studies using data from health insurance claims or electronic health records can provide important complementary evidence. The use of RWE to inform decision-making has been questioned because of concerns regarding confounding in non-randomized studies and the use of secondary data. RCT-DUPLICATE was a demonstration project that emulated the design of 32 RCTs with non-randomized RWE studies. We sought to explore how emulation differences relate to variation in results between the RCT-RWE study pairs. MethodsWe include all RCT-RWE study pairs from RCT-DUPLICATE where the measure of effect was a hazard ratio and use exploratory meta-regression methods to explain differences and variation in the effect sizes between the results from the RCT and the RWE study. The considered explanatory variables are related to design and population differences. ResultsMost of the observed variation in effect estimates between RCT-RWE study pairs in this sample could be explained by three emulation differences in the meta-regression model: (i) in-hospital start of treatment (not observed in claims data), (ii) discontinuation of certain baseline therapies at randomization (not part of clinical practice), (iii) delayed onset of drug effects (missed by short medication persistence in clinical practice). ConclusionsThis analysis suggests that a substantial proportion of the observed variation between results from RCTs and RWE studies can be attributed to design emulation differences. What is already known on this topicReal-world evidence (RWE) studies can complement randomized controlled trials (RCT) by providing insights on the effectiveness of a medical treatment in clinical practice. Concerns about confounding have limited the use of RWE studies in clinical practice and policy decisions. What this study addsA large share of the observed variation in results between RCT-RWE study pairs could be explained by design emulation differences.
Autori: Rachel Heyard, L. Held, S. Schneeweiss, S. Wang
Ultimo aggiornamento: 2023-07-13 00:00:00
Lingua: English
URL di origine: https://www.medrxiv.org/content/10.1101/2023.07.13.23292601
Fonte PDF: https://www.medrxiv.org/content/10.1101/2023.07.13.23292601.full.pdf
Licenza: https://creativecommons.org/licenses/by/4.0/
Modifiche: Questa sintesi è stata creata con l'assistenza di AI e potrebbe presentare delle imprecisioni. Per informazioni accurate, consultare i documenti originali collegati qui.
Si ringrazia medrxiv per l'utilizzo della sua interoperabilità ad accesso aperto.