Evaluando el intercambio de datos en la investigación médica
Una revisión sobre las tendencias actuales en las prácticas de compartir datos dentro de la medicina.
― 9 minilectura
Tabla de contenidos
- Protocolo y Registro
- Fuentes de Información y Estrategia de Búsqueda
- Selección de Estudios
- Recopilación de Datos
- Evaluaciones de Riesgo de Sesgo
- Chequeos de Integridad de IPD y Armonización
- Resultados de Interés
- Análisis Estadístico
- Análisis de Subgrupos y Sensibilidad
- Selección de Estudios y Recuperación de IPD
- Características del Estudio
- Tasas de Compartir Datos y Códigos
- Tasas de Compartir Datos y Códigos Privados
- Resultados Secundarios
- Hallazgos Principales de la Revisión
- Hallazgos de la Revisión en Contexto
- Implicaciones Potenciales de Nuestros Hallazgos
- Fortalezas y Limitaciones del Estudio
- Preguntas Sin Responder e Investigación Futura
- Conclusión
- Fuente original
- Enlaces de referencia
En la Investigación, recopilar, analizar y organizar Datos son pasos importantes para los científicos en muchos campos, incluyendo la medicina y la salud. Los materiales de investigación como datos en bruto y Códigos de análisis son valiosos para otros investigadores porque ayudan a mejorar métodos, verificar resultados, plantear nuevas preguntas, combinar datos existentes y enseñar a los futuros científicos. Aunque hay desafíos para compartir materiales de investigación, como preocupaciones de privacidad y la necesidad de recursos, ha habido un impulso creciente a lo largo de los años por parte de agencias de financiamiento y editores para hacer que los productos de investigación estén disponibles para otros. Por ejemplo, el gobierno de EE.UU. ha recomendado que las agencias actualicen políticas para asegurar que toda investigación financiada por ellos sea gratuita y accesible al público.
A medida que las políticas cambian, aún hay preguntas clave sobre la cultura actual de compartir datos en medicina. ¿Cuál es la situación ahora? ¿Cómo ha cambiado con el tiempo? ¿Qué tan efectivas son las iniciativas políticas para promover el compartir? Cuando los investigadores comparten, ¿con qué frecuencia la información es útil? Aunque muchos estudios han intentado responder a estas preguntas, la mayoría se ha enfocado en grupos específicos o tipos de datos, lo que hace difícil obtener una imagen completa. Este artículo tiene como objetivo resumir la investigación existente sobre con qué frecuencia se comparten datos y códigos de análisis en medicina, evaluar qué tan bien siguen los investigadores las políticas de compartir e identificar los factores que influyen en el compartir.
Protocolo y Registro
Documentamos nuestros planes de revisión el 28 de mayo de 2021, en una plataforma pública antes de comenzar nuestra búsqueda de investigación. Cualquier estudio que examinara el compartir datos o códigos en artículos de investigación médica era elegible para esta revisión. No se impusieron límites sobre dónde se publicaron los estudios o el tipo de formatos que utilizaron. Incluimos estudios que usaran cualquier método para evaluar el compartir, siempre que miraran el texto de los artículos. Se excluyeron estudios que se centraran en investigación más allá de la medicina o la salud o si no involucraban artículos de revistas.
Fuentes de Información y Estrategia de Búsqueda
El 1 de julio de 2021, buscamos en varias bases de datos, incluyendo literatura médica y archivos de preprints, para encontrar estudios relevantes. También revisamos otros recursos en línea para estudios adicionales relacionados con nuestra revisión. No limitamos nuestra búsqueda por idioma, buscando reunir la mayor variedad posible de datos relevantes.
Selección de Estudios
Todos los estudios identificados se organizaron en un software de revisión sistemática para eliminar duplicados. Revisamos títulos, resúmenes y textos completos para determinar su elegibilidad, resolviendo desacuerdos a través de discusiones o con un tercer autor si era necesario. Cada estudio debía cumplir con criterios relacionados con el compartir de datos y códigos. Si se encontraban múltiples informes para el mismo conjunto de datos, seleccionamos el más actualizado.
Recopilación de Datos
Cuando encontramos estudios adecuados, verificamos si habían compartido suficientes datos en bruto o identificadores como DOI. Si no estaban disponibles datos completos, contactamos a los autores correspondientes para solicitar la información que faltaba. Si no podían o no quisieron compartir, pedimos estadísticas de resumen en su lugar. Si los autores no respondían o no proporcionaban la información solicitada antes de nuestra fecha límite, extrajimos datos relevantes de sus informes de manera independiente.
Evaluaciones de Riesgo de Sesgo
Asignamos una calificación de riesgo de sesgo a los estudios incluidos basada en métodos establecidos. Esta evaluación observó sesgos en muestreo, informes, selección de artículos y precisión de las estimaciones reportadas. Cada estudio fue evaluado por múltiples revisores para asegurar calificaciones consistentes.
Chequeos de Integridad de IPD y Armonización
Para aquellos estudios que sí proporcionaron datos completos, verificamos su integridad, validez y si los resultados reportados podían ser verificados. Si hubo discrepancias, buscamos aclaraciones de los autores. También aseguramos que ningún artículo se contara más de una vez en nuestro análisis.
Resultados de Interés
Nos enfocamos en varios resultados clave sobre el compartir de datos y códigos:
- El número de artículos donde los autores declararon que sus datos o códigos estaban disponibles públicamente.
- El número de artículos donde esta disponibilidad pública fue verificada por los investigadores.
- El número de artículos donde los datos o códigos se declararon disponibles a pedido.
- El número de artículos donde los datos o códigos fueron obtenidos exitosamente tras una solicitud.
Estas medidas buscaban proporcionar información sobre las prácticas reales de compartir en la investigación médica.
Análisis Estadístico
Para analizar los datos, utilizamos un método que nos permite calcular estadísticas resumen de diferentes estudios. Calculamos proporciones e intervalos de confianza para todos los resultados. Agrupamos estudios que cumplían con criterios específicos, asegurando estimaciones precisas de tasas de compartir.
Análisis de Subgrupos y Sensibilidad
Planeamos investigar si las tasas de compartir variaban dependiendo del tipo de datos, si los artículos provenían de investigadores con políticas de compartir obligatorias, o si habían sido publicados como preprints antes de su publicación. También observamos cómo cambiaron las tasas de compartir con el tiempo, considerando que el año de publicación podría influir en el comportamiento de compartir.
Selección de Estudios y Recuperación de IPD
Nuestra búsqueda reveló muchos artículos, con una porción significativa excluida después de la revisión. Al final, identificamos un total de estudios elegibles que examinaron un gran número de artículos primarios.
Características del Estudio
Los estudios incluidos en nuestro análisis presentaron una rica variedad de datos en muchas especialidades médicas. La mayoría no restringió los tipos de artículos o datos que evaluaron, permitiendo una comprensión completa del panorama del compartir de datos.
Tasas de Compartir Datos y Códigos
Nuestro análisis reveló que solo un pequeño porcentaje de los artículos Médicos publicados desde 2016 declararon que sus datos estaban disponibles públicamente. Aún menos realmente compartieron sus datos o códigos. Las bajas tasas de compartir enfatizaron los problemas persistentes en el campo, con variabilidad en el éxito de compartir cuando se contactó a los investigadores de manera privada.
Tasas de Compartir Datos y Códigos Privados
Distinguir entre la disponibilidad declarada y la real reveló diferencias marcadas, con solo una pequeña fracción de los autores indicando su disposición a compartir a pedido. Las tasas de éxito en la obtención de datos o códigos variaron ampliamente, iluminando los desafíos que enfrentan los investigadores para acceder a materiales compartidos.
Resultados Secundarios
Los datos sobre resultados adicionales relacionados con declaraciones de compartir y cumplimiento con diferentes políticas de compartir fueron limitados. Aún así, surgieron algunas ideas, indicando diferencias en las prácticas de compartir basadas en tipos específicos de datos y la naturaleza de las políticas de revistas.
Hallazgos Principales de la Revisión
Los hallazgos de nuestra revisión exhaustiva destacan que, aunque las declaraciones de compartir datos en la literatura médica están en aumento, el compartir real sigue siendo poco frecuente, especialmente para los códigos. Las implicaciones de estos hallazgos son significativas para investigadores y formuladores de políticas que buscan mejorar las prácticas de compartir datos.
Hallazgos de la Revisión en Contexto
Comparando nuestros hallazgos con otros campos científicos, se muestra que aunque las tasas de compartir en medicina son mejores que en algunas áreas, están por detrás de otras. Los desafíos relacionados con la privacidad y las regulaciones médicas probablemente contribuyen a esta discrepancia, junto con las diferencias culturales entre disciplinas respecto a la apertura.
Implicaciones Potenciales de Nuestros Hallazgos
Nuestra investigación sugiere varios caminos para mejorar las prácticas de compartir datos en el campo médico. Aunque existen políticas de compartir obligatorias, pueden no ser completamente efectivas, especialmente para ciertos tipos de datos. Los formuladores de políticas deberían considerar estrategias alternativas para aumentar las tasas de compartir de manera efectiva, como introducir incentivos o auditar el cumplimiento de manera más rigurosa.
Fortalezas y Limitaciones del Estudio
Nuestra revisión se beneficia de una metodología robusta, lo que nos permite proporcionar estimaciones confiables y evaluaciones de calidad de datos. Sin embargo, las limitaciones incluyen posibles lagunas en la literatura y el hecho de que solo un autor verificó la integridad de los datos, lo que puede introducir sesgo.
Preguntas Sin Responder e Investigación Futura
Quedan varias preguntas significativas sobre el cumplimiento de políticas y la efectividad de diferentes estrategias para promover el compartir de datos. Aunque nuestros hallazgos actuales ofrecen una base útil para entender las prácticas de compartir, la investigación futura debería profundizar más en áreas y tipos de datos específicos.
Conclusión
En resumen, aunque hay una conciencia creciente sobre la importancia de compartir datos en la investigación médica, las prácticas reales siguen siendo un desafío. La variabilidad en las tasas de éxito para obtener datos compartidos y las bajas tasas generales de compartir indican que aún queda mucho por hacer. Políticas y estrategias efectivas que consideren los desafíos únicos del compartir en el campo médico son esenciales para impulsar mejoras en el futuro.
Título: Rates and predictors of data and code sharing in the medical and health sciences: A systematic review with meta-analysis of individual participant data.
Resumen: ObjectivesMany meta-research studies have investigated rates and predictors of data and code sharing in medicine. However, most of these studies have been narrow in scope and modest in size. We aimed to synthesise the findings of this body of research to provide an accurate picture of how common data and code sharing is, how this frequency has changed over time, and what factors are associated with sharing. DesignSystematic review with meta-analysis of individual participant data (IPD) from meta-research studies. Data sources: Ovid MEDLINE, Ovid Embase, MetaArXiv, medRxiv, and bioRxiv were searched from inception to July 1st, 2021. Eligibility criteriaStudies that investigated data or code sharing across a sample of scientific articles presenting original medical and health research. Data extraction and synthesisTwo authors independently screened records, assessed risk of bias, and extracted summary data from study reports. IPD were requested from authors when not publicly available. Key outcomes of interest were the prevalence of statements that declared data or code were publicly available, or available on request (declared availability), and the success rates of retrieving these products (actual availability). The associations between data and code availability and several factors (e.g., journal policy, data type, study design, research subjects) were also examined. A two-stage approach to IPD meta-analysis was performed, with proportions and risk ratios pooled using the Hartung-Knapp-Sidik-Jonkman method for random-effects meta-analysis. Three-level random-effects meta-regressions were also performed to evaluate the influence of publication year on sharing rate. Results105 meta-research studies examining 2,121,580 articles across 31 specialties were included in the review. Eligible studies examined a median of 195 primary articles (IQR: 113-475), with a median publication year of 2015 (IQR: 2012-2018). Only eight studies (8%) were classified as low risk of bias. Useable IPD were assembled for 100 studies (2,121,197 articles), of which 94 datasets passed independent reproducibility checks. Meta-analyses revealed declared and actual public data availability rates of 8% (95% CI: 5-11%, 95% PI: 0-30%, k=27, o=700,054) and 2% (95% CI: 1-3%, 95% PI: 0-11%, k=25, o=11,873) respectively since 2016. Meta-regression indicated that only declared data sharing rates have increased significantly over time. For public code sharing, both declared and actual availability rates were estimated to be less than 0.5% since 2016, and neither demonstrated any meaningful increases over time. Only 33% of authors (95% CI: 5-69%, k=3, o=429) were estimated to comply with mandatory data sharing policies of journals. ConclusionCode sharing remains persistently low across medicine and health research. In contrast, declarations of data sharing are also low, but they are increasing. However, they do not always correspond to the actual sharing of data. Mandatory data sharing policies of journals may also not be as effective as expected, and may vary in effectiveness according to data type - a finding that may be informative for policymakers when designing policies and allocating resources to audit compliance.
Autores: Daniel G Hamilton, K. Hong, H. Fraser, A. Rowhani-Farid, F. Fidler, M. J. Page
Última actualización: 2023-03-24 00:00:00
Idioma: English
Fuente URL: https://www.medrxiv.org/content/10.1101/2023.03.22.23287607
Fuente PDF: https://www.medrxiv.org/content/10.1101/2023.03.22.23287607.full.pdf
Licencia: https://creativecommons.org/licenses/by-nc/4.0/
Cambios: Este resumen se ha elaborado con la ayuda de AI y puede contener imprecisiones. Para obtener información precisa, consulte los documentos originales enlazados aquí.
Gracias a medrxiv por el uso de su interoperabilidad de acceso abierto.