Modelos de IA para Resumir Conversas Clínicas

Resumir Conversas clínicas tá virando uma tarefa super importante na saúde. Os médicos e profissionais da saúde costumam ter que colocar uma porção de informações nos Prontuários Eletrônicos de Saúde (PES) durante as consultas. Isso pode demorar muito e deixar os profissionais esgotados. Com o aumento desses registros eletrônicos, rola uma necessidade de ferramentas que consigam resumir rapidamente as conversas entre médicos e pacientes.

Modelos de inteligência artificial (IA) estão sendo criados pra puxar e resumir automaticamente as informações mais importantes dessas conversas. Esses modelos aprendem com grandes Conjuntos de dados que têm diálogos Clínicos, ajudando a identificar detalhes chave como sintomas, diagnósticos, medicações e planos de tratamento. Depois de treinados, eles conseguem produzir Resumos dessas conversas, que ajudam a elaborar relatórios conhecidos como anotações de prontuário que os médicos precisam completar depois de atender um paciente.

#Desafios na Implementação

Tem vários desafios pra usar esses modelos de IA de forma eficaz. Um grande problema é a falta de dados de treinamento suficientes. Como os registros médicos têm informações sensíveis, conseguir um conjunto de dados diversificado pra treinar pode ser complicado por causa das leis de privacidade. Além disso, os profissionais da saúde usam termos especializados que podem variar muito dependendo da situação, o que dificulta a identificação e o resumo das informações importantes pelos modelos.

#Abordando o Problema

Pra enfrentar esses desafios, os pesquisadores estão buscando diferentes maneiras de combinar modelos de resumo de IA. Esse estudo foca em três métodos principais usando modelos de resumo baseados em transformadores pra encontrar a melhor maneira de resumir conversas clínicas.

O primeiro passo foi ver como um único modelo poderia resumir toda uma anotação de prontuário. Depois, os pesquisadores testaram se combinar resultados de diferentes modelos, cada um treinado em partes específicas da anotação, iria produzir resumos melhores. Por fim, eles analisaram se passar esses resultados combinados por outro modelo de resumo ajudaria a melhorar a qualidade.

#Usando Modelos Avançados

Modelos baseados em transformadores viraram bem populares pra resumir textos. Mas um grande desafio é que as conversas muitas vezes excedem os limites de entrada dos modelos padrão. Pra resolver isso, novos modelos como Longformer e Big Bird foram desenvolvidos. Nesse estudo, os pesquisadores escolheram trabalhar com um modelo chamado LSG BART, que é uma versão avançada do BART, pra testar suas ideias.

LSG BART é projetado pra resumir documentos mais longos. Enquanto o BART geralmente consegue lidar com até 1024 tokens, o LSG BART pode gerenciar até 4096 tokens. Essa característica torna ele adequado pra resumir conversas longas e permite fornecer um resumo mais coerente.

#Dados e Detalhes do Desafio

O desafio MEDIQA-Chat 2023, que foca em melhorar a tecnologia de PNL pra aplicações clínicas, fornece o conjunto de dados. Esse desafio inclui três tarefas. A Tarefa A é sobre gerar seções específicas das anotações, a Tarefa B visa criar anotações completas e a Tarefa C foca em inverter o processo, gerando conversas a partir das anotações. Pra Tarefa B, o conjunto de dados tinha 67 conversas de treinamento e 20 de validação, além de um conjunto de testes oculto com 40 conversas adicionais.

#Testando Diferentes Abordagens

Pra avaliar as várias abordagens pra resumir conversas clínicas, os pesquisadores dividiram o problema em três testes. Eles queriam ver se afinar o modelo LSG BART com artigos de pesquisa médica ajudaria a melhorar seu desempenho.

1. Modelo Único LSG BART: Primeiro, eles treinaram um único modelo LSG BART com e sem afinação em dados do PubMed, que consistem em literatura médica.

2. Conjunto de Modelos: A segunda abordagem envolveu criar um conjunto de diferentes modelos LSG BART. Cada modelo foi treinado em seções individuais da anotação. Após o treinamento, os resultados desses modelos foram combinados pra produzir a anotação final.

3. Modelo de Múltiplas Camadas: O terceiro método usou uma combinação das duas abordagens anteriores. A saída do conjunto de resumidores foi passada pra outro modelo LSG BART, na esperança de alcançar um resumo mais completo e coerente.

#Resultados e Observações

As três abordagens foram avaliadas usando uma taxa de aprendizado que diminuía com o tempo, com treinamento feito por 20 épocas em uma GPU poderosa Nvidia A100. As métricas de avaliação usadas incluíram ROUGE, que mede quão próximo os resumos gerados estavam dos resumos de referência.

Ao comparar os resultados, ficou claro que a segunda abordagem, que usou o conjunto de modelos por seções, produziu os melhores resumos. Em contrapartida, a terceira abordagem, que adicionou uma camada de resumo adicional, não mostrou nenhuma melhoria na precisão. Na verdade, algumas áreas tiveram uma queda na precisão.

Os pesquisadores perceberam que o modelo focado em resumir por seções ajudou a produzir melhores resultados porque se especializou no conteúdo específico de cada seção. Porém, combinar os resultados na terceira abordagem não conseguiu melhorar a qualidade geral dos resumos.

Nas classificações finais da competição, a segunda abordagem foi bem, garantindo boas posições tanto pra geração de notas completas quanto pra geração de texto por seções. A primeira abordagem teve um desempenho razoável, mas foi superada pela segunda. A terceira abordagem ficou em uma posição mais baixa, indicando que só adicionar outra camada de resumo não foi eficaz.

#Conclusão e Direções Futuras

Os resultados indicam que usar múltiplos modelos de resumo adaptados pra seções específicas da anotação pode melhorar a qualidade do resumo. Mas, simplesmente passar os resultados por outro modelo não trouxe melhor precisão. Os pesquisadores sugerem que conjuntos de dados mais extensos e mais análises são necessários pra entender melhor por que isso acontece.

No futuro, eles pretendem realizar estudos mais profundos sobre diferentes arquiteturas de modelos pra aprimorar ainda mais a sumarização por seções. Eles também pretendem investigar outros modelos adequados pra resumir documentos longos, pra melhorar a precisão geral na sumarização de conversas clínicas.

#Considerações Éticas

Enquanto os resultados são promissores, é importante notar que esses modelos de IA podem, às vezes, gerar informações imprecisas. Portanto, é vital que os profissionais da saúde supervisionem o uso desses sistemas. O estudo serve como uma exploração preliminar do potencial de usar múltiplas estratégias de resumo e enfatiza a necessidade de mais pesquisa sobre a afinação de modelos pra uso clínico.