Avaliando o Compartilhamento de Dados na Pesquisa Médica
Uma revisão sobre as tendências atuais nas práticas de compartilhamento de dados na medicina.
― 9 min ler
Índice
- Protocolo e Registro
- Fontes de Informação e Estratégia de Busca
- Seleção de Estudos
- Coleta de Dados
- Avaliações de Risco de Viés
- Verificações de Integridade de Dados Individuais e Harmonização
- Resultados de Interesse
- Análise Estatística
- Análises de Subgrupo e Sensibilidade
- Seleção de Estudos e Recuperação de Dados Individuais
- Características dos Estudos
- Taxas de Compartilhamento de Dados e Códigos
- Taxas de Compartilhamento de Dados e Códigos Privados
- Resultados Secundários
- Principais Descobertas da Revisão
- Descobertas da Revisão em Contexto
- Implicações Potenciais de Nossas Descobertas
- Forças e Limitações do Estudo
- Perguntas Não Respondidas e Pesquisas Futuras
- Conclusão
- Fonte original
- Ligações de referência
Na pesquisa, coletar, analisar e organizar Dados são passos importantes para cientistas de várias áreas, incluindo medicina e saúde. Materiais de pesquisa, como dados brutos e Códigos de análise, são valiosos para outros pesquisadores pois ajudam a melhorar métodos, checar resultados, levantar novas questões, combinar dados existentes e ensinar futuros cientistas. Apesar dos desafios para compartilhar materiais de pesquisa, como preocupações com privacidade e a necessidade de recursos, tem rolado uma pressão crescente ao longo dos anos de agências financiadoras e editoras para tornar produtos de pesquisa disponíveis para outros. Por exemplo, o governo dos EUA recomendou que as agências atualizassem suas políticas para garantir que toda pesquisa financiada por elas seja gratuita e acessível ao público.
Com as mudanças nas políticas, ainda existem perguntas importantes sobre a cultura atual de compartilhamento de dados na medicina. Como está a situação agora? Como isso mudou ao longo do tempo? Quão efetivas são as iniciativas políticas para promover o compartilhamento? Quando os pesquisadores compartilham, com que frequência a informação é útil? Embora vários estudos tenham tentado responder a essas perguntas, a maioria se concentrou em grupos específicos ou tipos de dados, o que dificulta ter um panorama completo. Esse artigo tem a intenção de resumir a pesquisa existente sobre com que frequência dados e códigos de análise são compartilhados na medicina, avaliar o quão bem os pesquisadores seguem as políticas de compartilhamento e identificar fatores que influenciam esse compartilhamento.
Protocolo e Registro
Nós documentamos nossos planos de revisão no dia 28 de maio de 2021, em uma plataforma pública, antes de começar nossa busca por Pesquisas. Qualquer estudo que examinasse o compartilhamento de dados ou códigos em artigos de pesquisa médica era elegível para essa revisão. Não havia limites sobre onde os estudos foram publicados ou os tipos de formatos que usaram. Incluímos estudos que usaram qualquer método para avaliar o compartilhamento, desde que analisassem o texto dos artigos. Estudos foram excluídos se se concentrassem em pesquisas além da medicina ou saúde ou se não envolvessem artigos de revistas.
Fontes de Informação e Estratégia de Busca
No dia 1 de julho de 2021, nós pesquisamos várias bases de dados, incluindo literatura médica e arquivos de pré-impressão, para encontrar estudos relevantes. Também conferimos outros recursos online para estudos adicionais relacionados à nossa revisão. Não limitamos nossa busca por idioma, visando reunir a maior variedade possível de dados relevantes.
Seleção de Estudos
Todos os estudos identificados foram organizados em um software de revisão sistemática para remover duplicatas. Nós analisamos títulos, resumos e textos completos para elegibilidade, resolvendo desacordos por meio de discussão ou um terceiro autor, se necessário. Cada estudo teve que atender a critérios relacionados ao compartilhamento de dados e códigos. Se vários relatos foram encontrados para o mesmo conjunto de dados, selecionamos o mais atualizado.
Coleta de Dados
Quando encontramos estudos adequados, verificamos se eles tinham compartilhado dados brutos suficientes ou identificadores como DOIs. Se dados completos não estavam disponíveis, contatamos os autores correspondentes para solicitar as informações faltantes. Se eles não puderam ou não quiseram compartilhar, pedimos estatísticas resumidas. Onde autores não responderam ou falharam em fornecer as informações solicitadas dentro do prazo que estipulamos, extraímos dados relevantes de seus relatórios de forma independente.
Avaliações de Risco de Viés
Atribuímos uma classificação de risco de viés aos estudos incluídos com base em métodos estabelecidos. Essa avaliação analisou viés na amostragem, relato, seleção de artigos e precisão das estimativas reportadas. Cada estudo foi avaliado por vários revisores para garantir classificações consistentes.
Verificações de Integridade de Dados Individuais e Harmonização
Para aqueles estudos que forneceram dados completos, verificamos a integridade, validade e se os resultados reportados podiam ser verificados. Se houvesse discrepâncias, procuramos esclarecimentos com os autores. Também garantimos que nenhum artigo fosse contado mais de uma vez em nossa análise.
Resultados de Interesse
Focamos em vários resultados-chave sobre compartilhamento de dados e códigos:
- O número de artigos onde os autores declararam que seus dados ou códigos estavam disponíveis publicamente.
- O número de artigos onde essa disponibilidade pública foi verificada por pesquisadores.
- O número de artigos onde dados ou códigos foram declarados disponíveis mediante solicitação.
- O número de artigos onde dados ou códigos foram obtidos com sucesso após um pedido.
Essas medidas tinham como objetivo fornecer insights sobre as práticas reais de compartilhamento na pesquisa médica.
Análise Estatística
Para analisar os dados, usamos um método que nos permite calcular estatísticas resumidas de diferentes estudos. Calculamos proporções e intervalos de confiança para todos os resultados. Agrupamos estudos que atendiam a critérios específicos, garantindo estimativas precisas das taxas de compartilhamento.
Análises de Subgrupo e Sensibilidade
Planejamos investigar se as taxas de compartilhamento variaram dependendo do tipo de dado, se os artigos eram de pesquisadores com políticas de compartilhamento obrigatórias, ou se haviam sido postados como pré-impressões antes da publicação. Também analisamos como as taxas de compartilhamento mudaram ao longo do tempo, considerando que o ano de publicação pode influenciar o comportamento de compartilhamento.
Seleção de Estudos e Recuperação de Dados Individuais
Nossa busca revelou muitos artigos, e uma parte significativa foi excluída após a triagem. No final, identificamos um total de estudos elegíveis que examinaram um grande número de artigos primários.
Características dos Estudos
Os estudos incluídos em nossa análise apresentaram uma rica variedade de dados em muitas especialidades médicas. A maioria não restringiu os tipos de artigos ou dados que avaliaram, permitindo uma compreensão abrangente do cenário de compartilhamento de dados.
Taxas de Compartilhamento de Dados e Códigos
Nossa análise revelou que apenas uma pequena porcentagem de artigos Médicos publicados desde 2016 declarou seus dados como publicamente disponíveis. Mesmo menos realmente compartilharam seus dados ou códigos. As baixas taxas de compartilhamento enfatizaram as questões em andamento na área, com variabilidade no sucesso do compartilhamento quando pesquisadores foram contatados privadamente.
Taxas de Compartilhamento de Dados e Códigos Privados
Distinguir entre disponibilidade declarada e real revelou diferenças marcantes, com apenas uma pequena fração de autores indicando disposição para compartilhar mediante solicitação. As taxas de sucesso para obtenção de dados ou códigos variaram amplamente, iluminando os desafios que os pesquisadores enfrentam para acessar materiais compartilhados.
Resultados Secundários
Os dados sobre resultados adicionais relacionados a declarações de compartilhamento e conformidade com diferentes políticas de compartilhamento eram limitados. No entanto, algumas percepções emergiram, indicando diferenças nas práticas de compartilhamento com base em tipos de dados específicos e na natureza das políticas das revistas.
Principais Descobertas da Revisão
As descobertas de nossa ampla revisão destacam que, mesmo com o aumento das declarações de compartilhamento de dados na literatura médica, o compartilhamento efetivo permanece raro, especialmente para códigos. As implicações dessas descobertas são significativas tanto para pesquisadores quanto para formuladores de políticas que buscam melhorar as práticas de compartilhamento de dados.
Descobertas da Revisão em Contexto
Comparar nossas descobertas com outras áreas científicas mostra que, embora as taxas de compartilhamento na medicina sejam melhores que em algumas áreas, ainda ficam atrás de outras. Desafios relacionados à privacidade e regulamentos médicos provavelmente contribuem para essa discrepância, junto com as diferenças culturais entre disciplinas em relação à abertura.
Implicações Potenciais de Nossas Descobertas
Nossa pesquisa sugere várias direções para melhorar as práticas de compartilhamento de dados na área médica. Embora existam políticas de compartilhamento obrigatórias, elas podem não ser totalmente eficazes, especialmente para certos tipos de dados. Os formuladores de políticas deveriam considerar estratégias alternativas para aumentar efetivamente as taxas de compartilhamento, como introduzir incentivos ou auditar a conformidade de forma mais rigorosa.
Forças e Limitações do Estudo
Nossa revisão se beneficia de uma metodologia robusta, permitindo-nos fornecer estimativas confiáveis e avaliações da qualidade dos dados. No entanto, as limitações incluem possíveis lacunas na literatura e o fato de que apenas um único autor verificou a integridade dos dados, o que pode introduzir viés.
Perguntas Não Respondidas e Pesquisas Futuras
Várias perguntas significativas permanecem sobre a conformidade com as políticas e a eficácia de diferentes estratégias para promover o compartilhamento de dados. Embora nossas descobertas atuais ofereçam uma linha de base útil para entender as práticas de compartilhamento, pesquisas futuras devem aprofundar-se em áreas e tipos de dados específicos.
Conclusão
Em resumo, embora haja uma crescente conscientização da importância do compartilhamento de dados na pesquisa médica, as práticas reais ainda são um desafio. A variabilidade nas taxas de sucesso para obtenção de dados compartilhados e as baixas taxas de compartilhamento geral indicam que muito trabalho ainda precisa ser feito. Políticas e estratégias eficazes que considerem os desafios únicos do compartilhamento na área médica são essenciais para promover melhorias no futuro.
Título: Rates and predictors of data and code sharing in the medical and health sciences: A systematic review with meta-analysis of individual participant data.
Resumo: ObjectivesMany meta-research studies have investigated rates and predictors of data and code sharing in medicine. However, most of these studies have been narrow in scope and modest in size. We aimed to synthesise the findings of this body of research to provide an accurate picture of how common data and code sharing is, how this frequency has changed over time, and what factors are associated with sharing. DesignSystematic review with meta-analysis of individual participant data (IPD) from meta-research studies. Data sources: Ovid MEDLINE, Ovid Embase, MetaArXiv, medRxiv, and bioRxiv were searched from inception to July 1st, 2021. Eligibility criteriaStudies that investigated data or code sharing across a sample of scientific articles presenting original medical and health research. Data extraction and synthesisTwo authors independently screened records, assessed risk of bias, and extracted summary data from study reports. IPD were requested from authors when not publicly available. Key outcomes of interest were the prevalence of statements that declared data or code were publicly available, or available on request (declared availability), and the success rates of retrieving these products (actual availability). The associations between data and code availability and several factors (e.g., journal policy, data type, study design, research subjects) were also examined. A two-stage approach to IPD meta-analysis was performed, with proportions and risk ratios pooled using the Hartung-Knapp-Sidik-Jonkman method for random-effects meta-analysis. Three-level random-effects meta-regressions were also performed to evaluate the influence of publication year on sharing rate. Results105 meta-research studies examining 2,121,580 articles across 31 specialties were included in the review. Eligible studies examined a median of 195 primary articles (IQR: 113-475), with a median publication year of 2015 (IQR: 2012-2018). Only eight studies (8%) were classified as low risk of bias. Useable IPD were assembled for 100 studies (2,121,197 articles), of which 94 datasets passed independent reproducibility checks. Meta-analyses revealed declared and actual public data availability rates of 8% (95% CI: 5-11%, 95% PI: 0-30%, k=27, o=700,054) and 2% (95% CI: 1-3%, 95% PI: 0-11%, k=25, o=11,873) respectively since 2016. Meta-regression indicated that only declared data sharing rates have increased significantly over time. For public code sharing, both declared and actual availability rates were estimated to be less than 0.5% since 2016, and neither demonstrated any meaningful increases over time. Only 33% of authors (95% CI: 5-69%, k=3, o=429) were estimated to comply with mandatory data sharing policies of journals. ConclusionCode sharing remains persistently low across medicine and health research. In contrast, declarations of data sharing are also low, but they are increasing. However, they do not always correspond to the actual sharing of data. Mandatory data sharing policies of journals may also not be as effective as expected, and may vary in effectiveness according to data type - a finding that may be informative for policymakers when designing policies and allocating resources to audit compliance.
Autores: Daniel G Hamilton, K. Hong, H. Fraser, A. Rowhani-Farid, F. Fidler, M. J. Page
Última atualização: 2023-03-24 00:00:00
Idioma: English
Fonte URL: https://www.medrxiv.org/content/10.1101/2023.03.22.23287607
Fonte PDF: https://www.medrxiv.org/content/10.1101/2023.03.22.23287607.full.pdf
Licença: https://creativecommons.org/licenses/by-nc/4.0/
Alterações: Este resumo foi elaborado com a assistência da AI e pode conter imprecisões. Para obter informações exactas, consulte os documentos originais ligados aqui.
Obrigado ao medrxiv pela utilização da sua interoperabilidade de acesso aberto.