Usando Modelos de Linguagem pra Resumir Relatórios de PET

Os radiologistas criam relatórios pra explicar os resultados de exames de imagem médica. Esses relatórios são super importantes pra compartilhar informações sobre a condição do paciente com outros Médicos e a equipe de saúde. Entre os vários exames de imagem, as tomografias PET de corpo inteiro são conhecidas por serem mais longas e complexas. No relatório PET, a seção de achados lista várias observações do exame, enquanto a seção de impressões dá um resumo dos pontos mais importantes. Como outros médicos dependem bastante da seção de impressões pra decisões de tratamento, ela precisa ser precisa e completa. Mas escrever essas impressões pode levar muito tempo e acabar gerando erros. Modelos de linguagem grandes (LLMs) oferecem uma nova forma de acelerar esse processo, escrevendo impressões automaticamente com base nos achados.

#Contexto

Embora LLMs tenham sido usados pra resumir achados de vários exames de imagem, ainda não foram muito aplicados a relatórios PET de corpo inteiro. Relatórios PET são significativamente mais longos que os de outros exames, geralmente com 250 a 500 palavras na seção de achados. Esse comprimento traz desafios, já que aumenta a chance de perder informações importantes durante a geração das impressões. Além disso, cada médico tem seu jeito de relatar que precisa ser considerado pra um resultado mais personalizado. Adaptar LLMs pra resumir relatórios PET envolve desafios específicos.

Avaliar o sucesso dos LLMs na produção dessas impressões também é complicado, já que pode haver várias formas válidas de resumir a mesma informação. A Avaliação por especialistas é considerada a melhor maneira de aferir a qualidade, mas não é prático pros médicos revisarem a saída de todos os modelos. Pra resolver isso, estudos recentes desenvolveram métricas de avaliação pra medir como esses modelos resumem documentos médicos. Porém, não foi determinado quão eficazes essas métricas são em relação às impressões PET e quão próximas elas estão das opiniões dos médicos.

#O Estudo

O objetivo desse estudo foi ver se LLMs treinados com um grande número de relatórios PET poderiam resumir achados com precisão e criar impressões pra uso prático. Os pesquisadores treinaram 12 modelos de linguagem diferentes usando um conjunto de dados de relatórios PET e avaliaram o desempenho deles usando várias métricas de avaliação. O modelo com melhor desempenho foi então testado pra ver sua capacidade de produzir impressões clinicamente úteis.

#Coleta de Dados

Um total de 37.370 relatórios PET coletados de um hospital entre 2010 e 2022 foram usados no estudo. Esses relatórios foram anonimados pra proteger as informações dos pacientes. Os dados foram divididos em grupos pra treinamento, validação e teste. Mais 100 relatórios de outra fonte também foram coletados pra teste externo.

#Pré-processamento de Relatórios

Dois tipos de modelos de linguagem foram testados: modelos encoder-decoder e modelos apenas decoder. O primeiro exigia uma formatação específica, onde as primeiras linhas incluíam detalhes sobre o exame e a identidade do médico. O segundo tipo usou uma abordagem diferente, começando com uma instrução que pedia ao modelo pra gerar a Impressão com base no relatório fornecido. As impressões clínicas reais dos relatórios foram usadas pra treinar e avaliar o modelo.

#Modelos de Linguagem para Relatórios PET

O estudo focou em sumarização, onde os modelos devem interpretar os achados em vez de apenas repetir partes da seção de achados. Os pesquisadores treinaram vários modelos encoder-decoder e modelos apenas decoder pra ver quais se saíam melhor na geração de impressões precisas. Os modelos ajustados foram então avaliados usando várias métricas de avaliação pra identificar o modelo que teve melhor desempenho na avaliação de especialistas.

#Avaliando o Desempenho

Pra determinar quais métricas de avaliação se correlacionavam melhor com as preferências dos médicos, os pesquisadores apresentaram as impressões geradas pelos modelos a dois médicos que as avaliaram. As métricas com a correlação mais forte foram usadas pra selecionar o modelo de melhor desempenho.

Na fase de avaliação por especialistas, três médicos de medicina nuclear revisaram um total de 24 relatórios, avaliando a qualidade das impressões geradas pelos modelos. Eles usaram critérios específicos pra classificar essas impressões e também as compararam com impressões que eles mesmos e outros médicos tinham escrito.

#Resultados

O estudo encontrou que duas métricas, chamadas BARTScore e PEGASUSScore, tiveram as correlações mais altas com as preferências dos médicos. O modelo PEGASUS foi identificado como o de melhor desempenho. Quando os médicos revisaram as impressões geradas pelo PEGASUS no estilo deles, um número significativo foi considerado clinicamente aceitável, sugerindo que esse modelo pode gerar resultados úteis pra aplicações do mundo real.

Quando os médicos avaliaram as impressões geradas pra seus próprios relatórios, 89% foram classificadas como clinicamente aceitáveis. No entanto, a média de utilidade foi um pouco menor que as impressões que eles originalmente escreveram. Essa diferença foi atribuída a áreas que precisavam de melhorias, como correção factual e clareza.

Além disso, ao avaliar impressões de outros médicos, as pontuações foram novamente mais baixas que as do próprio trabalho deles, destacando a forte preferência que os médicos têm pelo seu estilo único de relatórios. Apesar das pequenas diferenças nos níveis de satisfação, a utilidade geral das impressões geradas pelo PEGASUS foi considerada comparável às de outros médicos.

#Desafios Enfrentados pelo Modelo

Enquanto a maioria das impressões geradas pelo PEGASUS foram aceitáveis, alguns problemas comuns foram identificados. Inexatidões factuais foram um problema frequente, com casos de má interpretação evidentes. Além disso, o modelo às vezes produziu diagnósticos que eram excessivamente confiantes sem evidências suficientes. As recomendações feitas pelo modelo também podiam ser vagas, dificultando o uso delas na prática clínica. Esses problemas enfatizam a necessidade de uma revisão e edição detalhadas pelos médicos antes de finalizar os relatórios.

#Limitações do Estudo

Várias limitações foram identificadas ao longo do estudo. Por exemplo, ao ajustar alguns modelos, foi usada apenas uma metodologia simples de adaptação de domínio devido a recursos computacionais limitados. O estudo também manipulou apenas um elemento da entrada pra ajustar o estilo das impressões geradas, deixando outros métodos potenciais inexplorados.

Os testes externos mostraram uma queda notável nas pontuações de avaliação, sugerindo que as diferenças nos estilos de relatório entre o grupo de treinamento interno e médicos externos afetaram o desempenho. Por fim, como o conjunto de dados veio de uma única instituição, pesquisas futuras devem buscar envolver múltiplas instituições pra aprimorar as Descobertas.

#Conclusão

Esse estudo examinou como modelos de linguagem grandes poderiam automatizar a geração de impressões pra relatórios PET de corpo inteiro. Os resultados indicaram que o modelo de melhor desempenho, PEGASUS, pode criar impressões personalizadas e clinicamente úteis na maioria dos casos. Dada sua performance, o modelo poderia ser integrado em ambientes clínicos pra ajudar a acelerar os relatórios PET, criando automaticamente impressões iniciais com base nos achados disponíveis.

O estudo reconhece o apoio de várias fontes de financiamento, ao mesmo tempo que deixa claro que as opiniões expressas no trabalho são dos autores e não refletem necessariamente as posições de qualquer organização patrocinadora.

Em conclusão, embora desafios permaneçam, o potencial dos LLMs de melhorar o processo de criação de relatórios médicos é promissor e pode levar a uma melhor eficiência nos ambientes de saúde.