Usando Aprendizado de Máquina pra Avaliar a Qualidade da Pesquisa Médica
Esse artigo fala sobre como o aprendizado de máquina melhora a avaliação da literatura médica.
― 6 min ler
Índice
Todo dia, uma porção enorme de pesquisas médicas é publicada. Com tanta coisa saindo, fica difícil pra galera da saúde achar os Artigos que realmente são úteis na prática. Muitos desses artigos podem não trazer informações confiáveis, e ficar folheando tudo isso pode levar um tempão e exigir bastante esforço.
Filtrando Artigos de Qualidade
Pra ajudar com esse desafio, cientistas e pesquisadores criaram métodos de busca pra achar artigos de Alta qualidade rapidinho. Esses métodos focam em tipos específicos de Estudos, como revisões sistemáticas e ensaios controlados randomizados, que são conhecidos pela confiabilidade. Embora esses métodos funcionem bem pra encontrar estudos importantes, muitas vezes eles trazem um monte de resultados que não atendem aos padrões de qualidade. Isso acaba desperdiçando o tempo dos Profissionais de Saúde, que têm que ler um monte de artigos irrelevantes pra achar o que realmente precisam.
O Papel da Aprendizagem de Máquina
Recentemente, a aprendizagem de máquina (ML) foi introduzida pra ajudar a identificar pesquisas médicas de alta qualidade. ML é uma tecnologia que permite que computadores aprendam com dados e façam previsões com base em padrões nesses dados. Existem diferentes tipos de técnicas de aprendizagem de máquina, e algumas das mais comuns incluem aprendizagem supervisionada, não supervisionada e aprendizagem em conjunto.
A aprendizagem supervisionada usa um conjunto de dados rotulados pra treinar o sistema a tomar decisões. Por exemplo, pesquisadores têm usado vários algoritmos como árvores de decisão e redes neurais pra prever resultados médicos. Outra área promissora é a aprendizagem de máquina automatizada (AutoML), que simplifica o processo de construir e otimizar esses modelos.
Um Olhar no Processo
Numa unidade específica de pesquisa em saúde, eles montaram um sistema pra avaliar estudos assim que são publicados. Eles analisam vários tipos de artigos em revistas de saúde de ponta e usam estratégias de busca bem testadas pra recuperar estudos candidatos de bancos de dados. Depois de encontrar os artigos, associados de pesquisa treinados revisam tudo com cuidado pra garantir que atendam a padrões de qualidade específicos.
Uma vez que os artigos são considerados relevantes, eles são avaliados quanto à importância por uma rede de profissionais de saúde ao redor do mundo. Esse processo ajuda a reunir e resumir pesquisas valiosas pra diferentes usuários, incluindo médicos e formuladores de políticas.
Melhorando a Eficiência
Os pesquisadores querem melhorar a eficiência do sistema incorporando a aprendizagem de máquina. Eles querem facilitar a busca por artigos de alta qualidade enquanto mantêm altos padrões. Pra isso, eles treinaram um sistema de aprendizagem de máquina usando artigos previamente revisados pra desenvolver modelos que preveem a probabilidade de novos artigos atenderem aos critérios de qualidade.
Usando um conjunto de dados forte e aprendizagem automatizada, os pesquisadores puderam testar diferentes modelos de forma eficiente. O foco era aumentar o número de artigos relevantes encontrados enquanto reduziam os desnecessários. Isso, por sua vez, economizaria tempo pra quem precisa avaliar a literatura.
Treinando os Modelos
Pra treinar os modelos de aprendizagem de máquina, os pesquisadores usaram um conjunto de artigos que tinham sido criticamente avaliados quanto à qualidade. Eles usaram várias técnicas pra ajudar os modelos a entender quais artigos eram de alta qualidade e quais não eram. Usando diferentes algoritmos e configurações, eles tentaram encontrar a melhor abordagem pra prever a qualidade dos artigos.
Durante a fase de treinamento, eles olharam especificamente os títulos e resumos dos artigos. O processo envolveu pegar um conjunto de artigos, usar alguns pra treinamento e reservar outros pra teste pra ver como os modelos se saíam.
Avaliando o Desempenho
Depois que os modelos de aprendizagem de máquina foram treinados, eles foram testados pra avaliar sua eficácia. Isso incluiu calcular várias métricas de desempenho, como sensibilidade- a capacidade de identificar corretamente artigos de alta qualidade- e especificidade- a capacidade de evitar rotular erroneamente artigos de baixa qualidade como se fossem de alta qualidade.
Na prática, o algoritmo de aprendizagem de máquina foi usado pra avaliar uma quantidade significativa de artigos. Descobriu-se que os modelos conseguiam identificar corretamente muitos artigos confiáveis enquanto também indicavam quais eram menos prováveis de atender aos padrões de qualidade. Isso resultou num processo de avaliação mais eficiente, economizando bastante tempo pra profissionais de saúde.
Conclusão dos Resultados
Ao incorporar a aprendizagem de máquina no processo de avaliação de artigos, a unidade de pesquisa em saúde conseguiu melhorar a qualidade e a velocidade de como a literatura médica é revisada. Os modelos demonstraram alta sensibilidade e alcançaram um bom nível de especificidade, o que significa que podiam filtrar rapidamente estudos menos relevantes.
A abordagem também ajudou durante a pandemia de COVID-19, quando o volume de literatura aumentou drasticamente. O sistema de aprendizagem de máquina conseguiu gerenciar essa carga extra, garantindo acesso oportuno a pesquisas valiosas pra trabalhadores de saúde que precisavam de informações atualizadas.
Direções Futuras
Olhando pra frente, a equipe de pesquisa planeja continuar desenvolvendo modelos de aprendizagem de máquina. Eles querem explorar o uso de técnicas mais avançadas de aprendizagem profunda pra melhorar ainda mais o desempenho. À medida que o cenário da pesquisa médica evolui, essas ferramentas podem oferecer grandes vantagens em garantir que profissionais de saúde tenham acesso às melhores evidências pra sua prática.
O potencial da aprendizagem de máquina pra melhorar a vigilância da literatura é promissor, e o trabalho contínuo vai focar em refinar esses sistemas pra enfrentar desafios futuros de forma eficaz. Ao acompanhar o crescimento rápido da literatura médica, podemos garantir que pesquisas de alta qualidade estejam à disposição de quem mais precisa.
Título: Machine learning to increase the efficiency of a literature surveillance system: a performance evaluation
Resumo: BackgroundGiven suboptimal performance of Boolean searching to identify methodologically sound and clinically relevant studies in large bibliographic databases such as MEDLINE, exploring the performance of machine learning (ML) tools is warranted. ObjectiveUsing a large internationally recognized dataset of articles tagged for methodological rigor, we trained and tested binary classification models to predict the probability of clinical research articles being of high methodologic quality to support a literature surveillance program. Materials and MethodsUsing an automated machine learning approach, over 12,000 models were trained on a dataset of 97,805 articles indexed in PubMed from 2012-2018 which were manually appraised for rigor by highly trained research associates with expertise in research methods and critical appraisal. As the dataset is unbalanced, with more articles that do not meet criteria for rigor, we used the unbalanced dataset and over- and under-sampled datasets. Models that maintained sensitivity for high rigor at 99% and maximized specificity were selected and tested in a retrospective set of 30,424 articles from 2020 and validated prospectively in a blinded study of 5253 articles. ResultsThe final selected algorithm, combining a model trained in each dataset, maintained high sensitivity and achieved 57% specificity in the retrospective validation test and 53% in the prospective study. The number of articles needed to read to find one that met appraisal criteria was 3.68 (95% CI 3.52 to 3.85) in the prospective study, compared with 4.63 (95% CI 4.50 to 4.77) when relying only on Boolean searching. ConclusionsML models improved by approximately 25% the efficiency of detecting high quality clinical research publications for literature surveillance and subsequent dissemination to clinicians and other evidence users.
Autores: Cynthia Lokker, W. Abdelkader, E. Bagheri, P. Rick, C. Cotoi, T. Navarro, F. Germini, L.-A. Linkins, R. B. Haynes, L. Chu, M. Afzal, A. Iorio
Última atualização: 2023-06-19 00:00:00
Idioma: English
Fonte URL: https://www.medrxiv.org/content/10.1101/2023.06.18.23291567
Fonte PDF: https://www.medrxiv.org/content/10.1101/2023.06.18.23291567.full.pdf
Licença: https://creativecommons.org/licenses/by/4.0/
Alterações: Este resumo foi elaborado com a assistência da AI e pode conter imprecisões. Para obter informações exactas, consulte os documentos originais ligados aqui.
Obrigado ao medrxiv pela utilização da sua interoperabilidade de acesso aberto.