Simple Science

Ciência de ponta explicada de forma simples

# Biologia# Neurociência

Abordando Problemas de Imagem em Estudos de Pesquisa

Um olhar sobre a manipulação de imagens em estudos pré-clínicos e seus efeitos em revisões sistemáticas.

― 7 min ler


Riscos de Fraude deRiscos de Fraude deImagem em Pesquisaestudos afeta a integridade científica.Identificar manipulação de imagem em
Índice

As Revisões Sistemáticas são super importantes pra juntar e avaliar evidências na medicina. Elas ajudam a determinar as melhores práticas pro cuidado com os pacientes e ajudam a entender processos biológicos e o desenvolvimento de medicamentos. Mas, tem uma questão urgente sobre como lidar com estudos que podem não ser confiáveis. Quando a gente deve descartar um estudo por causa de dúvidas sobre sua validade?

Muitas diretrizes partem do pressuposto de que os pesquisadores conduzem seus estudos de forma honesta, mas o que acontece quando essa suposição não é confiável? Este artigo discute achados relacionados a revisões sistemáticas em estudos pré-clínicos, focando principalmente em problemas com imagens apresentadas em trabalhos de pesquisa.

O Problema dos Estudos Fraudulentos

No nosso trabalho recente revisando estudos sobre depressão em ratos de laboratório, encontramos vários artigos com imagens que levantaram bandeiras vermelhas. Muitas dessas imagens sugeriam que os dados poderiam ter sido manipulados ou falsificados. Isso nos levou a fazer uma análise detalhada dos tipos de problemas que encontramos durante o nosso processo de revisão.

Nossos achados indicam que esses estudos fraudulentos podem ser mais comuns do que se pensava, e eles podem estar distorcendo as conclusões gerais das revisões sistemáticas. Os métodos tradicionais usados pra detectar estudos de baixa qualidade não são suficientes pra identificar esses trabalhos problemáticos.

Metodologia: Avaliando Problemas com Imagens

Pra entender a extensão do problema, examinamos um grande número de estudos publicados. Nosso foco foi na pesquisa pré-clínica envolvendo Estresse Crônico em ratos e seus efeitos em comportamentos semelhantes à depressão, medidos por um teste que avalia quanto os ratos curtem soluções doces. A gente olhou especificamente pra estudos que aplicaram um protocolo de estresse crônico por pelo menos duas semanas e foi cuidadoso sobre como os ratos foram tratados antes do teste.

Depois de revisar várias publicações, marcamos um número significativo de artigos por terem imagens problemáticas. Pra classificar essas questões, usamos um sistema que as categorizou em três níveis.

  • Duplicaçôes Tipo I: Acontecem quando a mesma imagem aparece várias vezes no mesmo artigo, mas é alegada como representando dados diferentes.
  • Duplicaçôes Tipo II: Envolvem partes de uma imagem que são duplicadas e possivelmente alteradas, como sendo giradas ou espelhadas.
  • Duplicaçôes Tipo III: Indicam manipulação clara, onde elementos foram adicionados ou removidos, ou onde várias imagens foram juntas de forma inadequada.

Além dessas categorias, incluímos uma categoria "Outros" pra questões que não se encaixavam direitinho nas três primeiras.

Achados: Frequência dos Problemas

Revisamos um total de 1.035 artigos publicados, com 588 deles apresentando dados em forma de imagem, excluindo representações que não eram imagens, como gráficos. Desses, 112 artigos mostraram algum tipo de problema com imagens, o que é quase um em cada cinco.

O achado mais preocupante foi a prevalência dos problemas Tipo II e III. Isso sugere que um número significativo de artigos tinha evidências claras de manipulação. Duplicaçôes simples (Tipo I) eram bem mais raras.

Encontramos problemas com imagens em vários tipos de apresentações de dados, com imagens de western blot sendo as mais frequentemente problemáticas. Esses problemas frequentemente não eram apenas pequenos erros; muitas instâncias de duplicação eram complexas e difíceis de explicar como mera desatenção.

Impacto nas Revisões Sistemáticas

Nossa avaliação dos estudos incluídos na nossa revisão sistemática revelou que dez dos artigos marcados passaram pelos nossos critérios de seleção iniciais. Quando olhamos mais de perto o efeito desses estudos nos nossos achados sobre o teste de preferência por sacarose-que indica quanto os ratos curtem uma solução açucarada-percebemos que quase todos os estudos marcados relataram diferenças significativas no comportamento entre ratos estressados e controle.

Curiosamente, os estudos marcados apresentaram tamanhos de efeito que eram, em média, maiores do que os de estudos sem problemas identificados. Embora esses estudos não tenham se destacado como excepcionalmente extremos, eles contribuíram pra uma compreensão inflacionada dos resultados da nossa revisão sistemática.

Análise de Citações e Fatores de Impacto

Ao analisar o papel das citações e dos fatores de impacto das revistas em identificar estudos potencialmente fraudulentos, descobrimos que os artigos com problemas de imagem foram citados tão frequentemente quanto aqueles sem. Isso foi surpreendente, já que muitos acadêmicos acreditam que podem confiar na contagem de citações pra evitar estudos não confiáveis.

Além disso, não houve diferença significativa nos fatores de impacto das revistas que publicaram artigos com problemas de imagem em comparação com aquelas sem. Isso sugere que confiar na reputação da revista não é um método eficaz pra identificar estudos confiáveis.

Insights Geográficos e Institucionais

Nossa revisão sistemática também abordou as afiliações dos autores. Uma parte substancial dos estudos revisados foi escrita por pesquisadores de vários países, incluindo aqueles frequentemente rotulados como tendo problemas com integridade acadêmica. No entanto, nossos achados indicam que esses problemas não eram exclusivos de nenhuma região ou laboratório.

A taxa observada de problemas com imagens foi semelhante em vários países, sugerindo que o problema da má conduta na pesquisa é generalizado e não se limita a um grupo específico de pesquisadores.

Respostas às Descobertas Fraudulentas

A realidade desconfortável de encontrar estudos fraudulentos levanta questões difíceis. Muitos pesquisadores podem argumentar que estudos fraudulentos são raros e que pessoalmente não os encontraram, levando a uma crença generalizada de que esses problemas não dominam a comunidade científica.

No entanto, nossa revisão mostra que práticas fraudulentas-embora muitas vezes cometidas por um pequeno número de indivíduos-podem manchar significativamente o corpo da literatura científica. O pequeno grupo de pesquisadores que comete fraudes pode produzir uma grande quantidade de trabalho, complicando ainda mais os esforços pra identificar e corrigir esses problemas.

Passos Futuros para Melhoria

Pra lidar com os desafios apresentados por esses estudos potencialmente fraudulentos, é claro que precisamos adotar uma fiscalização mais rigorosa ao avaliar artigos de pesquisa. Atualmente, confiar somente na revisão por pares, índices de citações ou fatores de impacto de revistas é insuficiente.

Propondo que qualquer artigo que apresente imagens duplicadas-independentemente de parecer que elas vêm de desatenção ou manipulação deliberada-deve ser excluído de revisões sistemáticas e meta-análises. Isso requer medidas mais rigorosas de responsabilidade para pesquisadores e revistas, pra garantir que os problemas sejam corrigidos proativamente.

Conclusão

Nossos achados revelam uma prevalência preocupante de problemas relacionados a imagens em estudos pré-clínicos sobre depressão, destacando um problema significativo na literatura científica. Muitos estudos que apresentam imagens problemáticas podem contribuir pra conclusões enganosas em revisões sistemáticas, e podem minar a integridade do campo de pesquisa como um todo.

Portanto, é essencial que a comunidade científica tome ações mais firmes contra estudos fraudulentos. Precisamos cultivar um ambiente onde padrões rigorosos sejam mantidos, permitindo a busca contínua por pesquisas confiáveis e válidas que possam, em última análise, avançar nosso entendimento da ciência médica.

Fonte original

Título: Fraudulent studies are undermining the reliability of systematic reviews - a study of the prevalence of problematic images in preclinical studies of depression

Resumo: Systematic reviews are considered by many to constitute the highest level of scientific evidence. A caveat is that the methods used in a systematic review - combining information from multiple studies - are predicated on all of the reports being truthful. Currently, we do not know how frequent fraudulent studies are in systematic reviews, or how they affect the resulting evidence base. For a systematic review of preclinical studies of depression, we found that potentially fraudulent studies were not only common but also that they biased the findings of the review. In a sample of 1,035 studies, we found that 19 % of peer-reviewed reports displayed data in the form of problematic images. In a majority of the cases, images had been altered or recycled in a way that makes us suspect foul play. Making things worse, these studies reported larger effect sizes, on average, than did studies where we did not identify problems. Counter to commonly held beliefs, reports with problematic images were not cited less or published in lower-impact journals, nor were their authors isolated to any specific geographic area. The sheer prevalence of problematic studies, and the fact that we could not find a simple pattern for identifying them, undermines the validity of systematic reviews within our research field. We suspect that this is symptomatic of a broader problem that needs immediate addressing.

Autores: Otto Kalliokoski, J. P. Berrio

Última atualização: 2024-02-15 00:00:00

Idioma: English

Fonte URL: https://www.biorxiv.org/content/10.1101/2024.02.13.580196

Fonte PDF: https://www.biorxiv.org/content/10.1101/2024.02.13.580196.full.pdf

Licença: https://creativecommons.org/licenses/by/4.0/

Alterações: Este resumo foi elaborado com a assistência da AI e pode conter imprecisões. Para obter informações exactas, consulte os documentos originais ligados aqui.

Obrigado ao biorxiv pela utilização da sua interoperabilidade de acesso aberto.

Artigos semelhantes