Simple Science

Ciência de ponta explicada de forma simples

# Ciências da saúde # Sistemi sanitari e miglioramento della qualità

Avaliação da Confiança em Revisões Sistemáticas

Uma olhar sobre a confiança nas revisões sistemáticas em pesquisas.

Jack Wilkinson, Calvin Heal, Georgios A Antoniou, Ella Flemyng, Love Ahnström, Alessandra Alteri, Alison Avenell, Timothy Hugh Barker, David N Borg, Nicholas JL Brown, Rob Buhmann, Jose A Calvache, Rickard Carlsson, Lesley-Anne Carter, Aidan G Cashin, Sarah Cotterill, Kenneth Färnqvist, Michael C Ferraro, Steph Grohmann, Lyle C Gurrin, Jill A Hayden, Kylie E Hunter, Natalie Hyltse, Lukas Jung, Ashma Krishan, Silvy Laporte, Toby J Lasserson, David RT Laursen, Sarah Lensen, Wentao Li, Tianjing Li, Jianping Liu, Clara Locher, Zewen Lu, Andreas Lundh, Antonia Marsden, Gideon Meyerowitz-Katz, Ben W Mol, Zachary Munn, Florian Naudet, David Nunan, Neil E O’Connell, Natasha Olsson, Lisa Parker, Eleftheria Patetsini, Barbara Redman, Sarah Rhodes, Rachel Richardson, Martin Ringsten, Ewelina Rogozińska, Anna Lene Seidler, Kyle Sheldrick, Katie Stocking, Emma Sydenham, Hugh Thomas, Sofia Tsokani, Constant Vinatier, Colby J Vorland, Rui Wang, Bassel H Al Wattar, Florencia Weber, Stephanie Weibel, Madelon van Wely, Chang Xu, Lisa Bero, Jamie J Kirkham

― 6 min ler


Problemas de Confiança na Problemas de Confiança na Pesquisa estudos de ensaios clínicos. Investigando a confiabilidade dos
Índice

Revisões Sistemáticas são tipo um trabalho de detetive pra quem faz pesquisa. Eles reúnem todos os estudos sobre um assunto específico pra ver o que as evidências dizem. É como comparar anotações depois de um grande projeto em grupo pra ver se todo mundo tava na mesma página. Nesses estudos, os pesquisadores preferem incluir ensaios clínicos randomizados (RCTs), que são estudos onde as pessoas são designadas a diferentes tratamentos por acaso, pra garantir justiça.

A Importância da Validade

Pra uma revisão sistemática ser confiável, ela tem que incluir RCTs que sejam válidos. Validade significa que o estudo mede com precisão o que diz que vai medir. Imagina que você comprou uma balança chique pra se pesar, mas ela tá quebrada e mostra que você pesa 100 libras a menos do que realmente pesa. Não é válido! Os pesquisadores usam ferramentas chamadas ferramentas de Risco de Viés pra avaliar se os estudos que eles incluem são honestos e confiáveis.

Confiança Não É Mais um Padrão

Mas as coisas mudaram. Investigações recentes sobre RCTs deixaram todo mundo de cabelo em pé. Alguns estudos que foram publicados podem não estar contando toda a história. É como descobrir que seu parceiro de projeto em grupo copiou secretamente a parte dele de um site aleatório em vez de fazer o próprio trabalho. Quando isso acontece, estudos falsos podem acabar guiando o cuidado dos pacientes, e isso é um problema.

O Que São Estudos Problemáticos?

A Cochrane, uma organização bem conhecida no mundo da pesquisa, define "estudos problemáticos" como aqueles que têm grandes dúvidas sobre a Confiabilidade. Isso pode ser por alguém ter colado, ou simplesmente ter cometido erros significativos durante o estudo. Eles decidiram que estudos com problemas sérios não deveriam entrar nas revisões sistemáticas. Isso leva à grande pergunta: como vamos descobrir se um estudo é confiável ou problemático?

Desenvolvendo Uma Nova Ferramenta: INSPECT-SR

Pra lidar com esse problema, os pesquisadores estão trabalhando em uma nova ferramenta chamada INSPECT-SR (INveStigating ProblEmatic Clinical Trials in Systematic Reviews). O objetivo é criar uma checklist que possa ajudar os revisores a determinar se os RCTs são confiáveis. Eles já fizeram uma longa lista de possíveis checagens, mas testá-las vai levar um tempinho.

O Estudo de Pesquisa

Num projeto pra desenvolver essa ferramenta, os pesquisadores aplicaram 72 checagens diferentes em RCTs retirados de 50 Revisões Cochrane. Eles queriam ver quão práticos eram esses checks e qual impacto eles tinham nos resultados das revisões. Esse aspecto era essencial porque se os cheques forem muito complicados ou demorarem muito, os revisores não vão querer usá-los.

Quem Fez a Checagem?

O grupo de trabalho do INSPECT-SR incluiu uma mistura de especialistas em pesquisa. Eles convidaram vários revisores pra ajudar a avaliar os estudos. Esses revisores não precisavam ter qualificações especiais em integridade de pesquisa, porque a ideia era ver como revisores do dia a dia lidariam com as checagens.

Selecionando Revisões e Ensaios

Pra selecionar as Revisões Cochrane, os pesquisadores procuraram por aquelas publicadas recentemente que atendiam a certos critérios. Eles evitaram revisões onde os avaliadores tinham qualquer conexão pra garantir justiça. Eles também queriam focar em revisões que incluíssem RCTs adequados pra análise.

Extraindo Dados e Avaliação da Confiabilidade

Os revisores receberam um formulário pra preencher enquanto examinavam os estudos. Eles olhavam coisas como se os resultados eram claros e se os autores dos estudos eram confiáveis. Usaram softwares disponíveis que podiam ajudar com algumas checagens, mas não havia exigência de usar nenhum programa específico.

Como Foram as Revisões?

Durante esse processo, os avaliadores deram uma olhada boa em cada RCT e deram notas baseadas nas checagens. Eles tinham que avaliar coisas como se os dados do estudo foram compartilhados publicamente ou se todos os autores contribuíram igualmente. Após a avaliação, eles registraram se tinham preocupações sobre a confiabilidade de cada estudo.

Resultados do Processo de Checagem

Depois de analisar 95 RCTs das 50 Revisões Cochrane, os avaliadores descobriram que um número significativo de estudos levantou algum nível de preocupação. Enquanto a maioria dos estudos não tinha problemas graves, cerca de 25% tinham algumas preocupações, e cerca de 6% levantaram bandeiras sérias.

Viabilidade das Checagens

Ao longo da avaliação, algumas checagens foram consideradas inviáveis. Por exemplo, rastrear se um pesquisador copiou trabalho de outros ou se eles relataram corretamente suas descobertas era difícil. Requeria mais esforço do que valia a pena, mostrando que um equilíbrio precisa ser encontrado entre a rigorosidade e a praticidade.

Identificando Estudos Problemáticos

As checagens visavam destacar estudos problemáticos, que frequentemente falhavam em áreas como o registro prévio de ensaios (o processo de avisar as pessoas que o estudo tá rolando) e compartilhamento de dados. Muitos RCTs não foram registrados antecipadamente, o que levantou preocupações sobre sua autenticidade.

A Necessidade de Cautela

Embora os achados possam soar alarmantes, é importante lembrar que o desenho do estudo tinha limitações. Os revisores só olharam para meta-análises com um número pequeno de ensaios, o que poderia inflar o número de revisões que acabaram sem estudos utilizáveis após aplicar as checagens.

Olhando pra Frente: Desenvolvimento do INSPECT-SR

Os resultados desse estudo ajudarão a moldar a ferramenta final INSPECT-SR. Os pesquisadores estão animados pra criar uma ferramenta prática com checagens úteis que revisores sistemáticos possam usar sem ficar sobrecarregados.

Conclusão

No geral, o estudo revela que checar a confiabilidade dos RCTs é essencial. Isso sugere que estudos problemáticos não são tão raros quanto se pode pensar, e os métodos atuais podem não detectar todos os problemas. Na era da informação, manter nossa pesquisa confiável é tão importante quanto garantir que nossas listas de compras não incluam pizza rolls enquanto estamos de dieta. O caminho a seguir envolve refinar as checagens, obter feedback e criar uma ferramenta que possa ser usada praticamente na pesquisa do dia a dia.

O Futuro da Confiabilidade na Pesquisa

Isso marca o início de uma nova era onde a honestidade e a confiabilidade dos estudos serão escrutinadas mais de perto. À medida que os pesquisadores continuam a trabalhar para melhorar as revisões sistemáticas, é como polir uma maçã brilhante-pode exigir algum esforço, mas resulta em algo que todo mundo pode confiar. E quem não quer dar uma mordida em uma maçã confiável?

Vamos ficar de olho no que vem a seguir no mundo da pesquisa e como essas novas ferramentas ajudarão a manter a comunidade científica responsável. Afinal, quando se trata de saúde e medicina, todos nós queremos ter certeza de que estamos recebendo o que é real!

Fonte original

Título: Assessing the feasibility and impact of clinical trial trustworthiness checks via an application to Cochrane Reviews: Stage 2 of the INSPECT-SR project

Resumo: BackgroundThe aim of the INSPECT-SR project is to develop a tool to identify problematic RCTs in systematic reviews. In Stage 1 of the project, a list of potential trustworthiness checks was created. The checks on this list must be evaluated to determine which should be included in the INSPECT-SR tool. MethodsWe attempted to apply 72 trustworthiness checks to RCTs in 50 Cochrane Reviews. For each, we recorded whether the check was passed, failed or possibly failed, or whether it was not feasible to complete the check. Following application of the checks, we recorded whether we had concerns about the authenticity of each RCT. We repeated each meta-analysis after removing RCTs flagged by each check, and again after removing RCTs where we had concerns about authenticity, to estimate the impact of trustworthiness assessment. Trustworthiness assessments were compared to Risk of Bias and GRADE assessments in the reviews. Results95 RCTs were assessed. Following application of the checks, assessors had some or serious concerns about the authenticity of 25% and 6% of the RCTs, respectively. Removing RCTs with either some or serious concerns resulted in 22% of meta-analyses having no remaining RCTs. However, many checks proved difficult to understand or implement, which may have led to unwarranted scepticism in some instances. Furthermore, we restricted assessment to meta-analyses with no more than 5 RCTs, which will distort the impact on results. No relationship was identified between trustworthiness assessment and Risk of Bias or GRADE. ConclusionsThis study supports the case for routine trustworthiness assessment in systematic reviews, as problematic studies do not appear to be flagged by Risk of Bias assessment. The study produced evidence on the feasibility and impact of trustworthiness checks. These results will be used, in conjunction with those from a subsequent Delphi process, to determine which checks should be included in the INSPECT-SR tool. Plain language summarySystematic reviews collate evidence from randomised controlled trials (RCTs) to find out whether health interventions are safe and effective. However, it is now recognised that the findings of some RCTs are not genuine, and some of these studies appear to have been fabricated. Various checks for these "problematic" RCTs have been proposed, but it is necessary to evaluate these checks to find out which are useful and which are feasible. We applied a comprehensive list of "trustworthiness checks" to 95 RCTs in 50 systematic reviews to learn more about them, and to see how often performing the checks would lead us to classify RCTs as being potentially inauthentic. We found that applying the checks led to concerns about the authenticity of around 1 in 3 RCTs. However, we found that many of the checks were difficult to perform and could have been misinterpreted. This might have led us to be overly sceptical in some cases. The findings from this study will be used, alongside other evidence, to decide which of these checks should be performed routinely to try to identify problematic RCTs, to stop them from being mistaken for genuine studies and potentially being used to inform healthcare decisions. What is newO_LIAn extensive list of potential checks for assessing study trustworthiness was assessed via an application to 95 randomised controlled trials (RCTs) in 50 Cochrane Reviews. C_LIO_LIFollowing application of the checks, assessors had concerns about the authenticity of 32% of the RCTs. C_LIO_LIIf these RCTs were excluded, 22% of meta-analyses would have no remaining RCTs. C_LIO_LIHowever, the study showed that some checks were frequently infeasible, and others could be easily misunderstood or misinterpreted. C_LIO_LIThe study restricted assessment to meta-analyses including five or fewer RCTs, which might distort the impact of applying the checks. C_LI

Autores: Jack Wilkinson, Calvin Heal, Georgios A Antoniou, Ella Flemyng, Love Ahnström, Alessandra Alteri, Alison Avenell, Timothy Hugh Barker, David N Borg, Nicholas JL Brown, Rob Buhmann, Jose A Calvache, Rickard Carlsson, Lesley-Anne Carter, Aidan G Cashin, Sarah Cotterill, Kenneth Färnqvist, Michael C Ferraro, Steph Grohmann, Lyle C Gurrin, Jill A Hayden, Kylie E Hunter, Natalie Hyltse, Lukas Jung, Ashma Krishan, Silvy Laporte, Toby J Lasserson, David RT Laursen, Sarah Lensen, Wentao Li, Tianjing Li, Jianping Liu, Clara Locher, Zewen Lu, Andreas Lundh, Antonia Marsden, Gideon Meyerowitz-Katz, Ben W Mol, Zachary Munn, Florian Naudet, David Nunan, Neil E O’Connell, Natasha Olsson, Lisa Parker, Eleftheria Patetsini, Barbara Redman, Sarah Rhodes, Rachel Richardson, Martin Ringsten, Ewelina Rogozińska, Anna Lene Seidler, Kyle Sheldrick, Katie Stocking, Emma Sydenham, Hugh Thomas, Sofia Tsokani, Constant Vinatier, Colby J Vorland, Rui Wang, Bassel H Al Wattar, Florencia Weber, Stephanie Weibel, Madelon van Wely, Chang Xu, Lisa Bero, Jamie J Kirkham

Última atualização: Dec 20, 2024

Idioma: English

Fonte URL: https://www.medrxiv.org/content/10.1101/2024.11.25.24316905

Fonte PDF: https://www.medrxiv.org/content/10.1101/2024.11.25.24316905.full.pdf

Licença: https://creativecommons.org/licenses/by/4.0/

Alterações: Este resumo foi elaborado com a assistência da AI e pode conter imprecisões. Para obter informações exactas, consulte os documentos originais ligados aqui.

Obrigado ao medrxiv pela utilização da sua interoperabilidade de acesso aberto.

Artigos semelhantes