Melhorando Listas de Problemas a partir de Notas de Evolução Médica

Notas de progresso médico são documentos importantes nos hospitais. Elas capturam informações sobre a condição de um paciente, planos de tratamento e quaisquer atualizações. Resumir essas notas em algo simples e claro, conhecido como "lista de problemas", pode ajudar os profissionais de saúde a entender rapidamente a situação do paciente. Isso pode reduzir a carga de trabalho deles e diminuir as chances de cometer erros.

A Tarefa Compartilhada 1A do BioNLP 2023 é uma competição focada em criar uma lista de problemas a partir das notas de progresso durante a internação de um paciente no hospital. Nossa equipe propôs um novo método para enfrentar essa tarefa, que combina duas partes principais. A primeira parte usa grandes modelos de linguagem (LLMs) para gerar mais dados, e a segunda utiliza um modelo específico de sumarização para transformar os problemas do paciente em uma lista. Nossa abordagem ficou em segundo lugar na competição, mostrando que funciona bem mesmo com dados que o modelo nunca viu antes.

#Importância das Notas de Progresso Médico

Notas de progresso médico são essenciais para documentar a jornada de um paciente no hospital. Elas incluem detalhes sobre a saúde atual do paciente, estratégias de tratamento e mudanças feitas nessas estratégias. Ser capaz de destacar os principais problemas dessas notas em uma lista concisa pode ajudar enfermeiros e médicos a entender a condição do paciente de forma precisa, o que é vital para tomar decisões informadas sobre o tratamento. Essa lista de problemas também desempenha um papel crítico no planejamento de tratamentos futuros.

Enquanto muitos estudos de pesquisa focaram em resumir notas clínicas e relatórios de radiologia, menos se concentraram nas conversas entre prestadores de saúde e pacientes. Recentemente, o conceito de "entendimento de notas de progresso" foi introduzido. Isso envolve gerar uma lista de problemas com base nas partes de avaliação de uma nota de progresso. Na Tarefa Compartilhada do BioNLP 2023, equipes externas foram convidadas a propor novas ideias para melhorar como esses problemas são identificados e resumidos.

#Visão Geral do Nosso Método

O método que apresentamos, chamado PULSAR, tem duas seções principais. A primeira parte lida com o pré-treinamento do modelo usando três métodos diferentes de mascarar palavras. Esses métodos ajudam o modelo a aprender melhor ao focar em partes do texto. A segunda parte envolve a augmentação de dados, que significa criar novos exemplos que são semelhantes, mas não idênticos às notas originais. Isso ajuda o modelo a aprender a partir de uma gama mais ampla de exemplos.

Nosso método proposto ajudou a criar uma estrutura para resumir problemas de pacientes de forma eficaz. O primeiro passo em nossa abordagem é melhorar um modelo de linguagem específico, combinando vários objetivos de pré-treinamento. Essa parte do modelo teve desempenho superior a outros mesmo quando treinada em um conjunto limitado de notas de progresso. O segundo passo envolve guiar grandes modelos de linguagem para produzir novos dados sintéticos, o que reduz a necessidade de exemplos anotados extensos e de alta qualidade. Finalmente, ajustamos nosso modelo usando esses novos dados para gerar listas de problemas.

#Processo de Pré-treinamento

Ao gerar a lista de problemas, nem todos os problemas podem ser tirados diretamente das notas de progresso, por isso tratamos essa tarefa como um desafio de sumarização. Pegamos ideias de modelos de sumarização estabelecidos para ajudar nosso modelo a aprender mais rápido e de forma mais eficaz.

Nesse processo de pré-treinamento, termos específicos identificados pelos modelos são substituídos por tokens únicos. O objetivo é prever esses tokens com precisão. Também experimentamos selecionar e mascarar sentenças inteiras das notas de progresso. Essas seções mascaradas são combinadas para criar um resumo, proporcionando uma maneira mais simples para o modelo aprender informações chave sem ficar sobrecarregado por detalhes desnecessários.

Aplicamos três métodos de mascaramento durante a fase de pré-treinamento. Selecionamos termos médicos específicos e sentenças para garantir que o modelo ganhe conhecimento essencial e esteja preparado para a linguagem médica do mundo real.

#Técnicas de Augmentação de Dados

Encontrar dados anotados de alta qualidade é frequentemente um desafio na área da saúde. Por exemplo, a tarefa compartilhada tinha apenas um número limitado de exemplos de treinamento anotados. Para superar essa lacuna, utilizamos técnicas de augmentação de dados. Essa abordagem envolve gerar mais amostras de treinamento, permitindo que o modelo aprenda a partir de uma variedade maior de exemplos.

Nossa estrutura para a geração de dados usa grandes modelos de linguagem que podem seguir instruções específicas. Ao guiar esses modelos para reescrever ou parafrasear sentenças, mantendo os termos médicos chave, buscamos produzir novos exemplos que ainda façam sentido no contexto médico. Esse método nos permite criar exemplos de treinamento relevantes sem precisar de um grande conjunto de dados anotados manualmente.

#Configuração Experimental

Usamos vários modelos como referências, incluindo aqueles que foram pré-treinados em tarefas semelhantes. Os resultados foram avaliados cuidadosamente usando métricas específicas que medem quão bem os resumos gerados se alinham com as notas originais. Os dados de treinamento foram divididos em duas partes: um conjunto de treinamento e um conjunto de validação, para garantir que o modelo aprenda de forma eficaz.

O processo de pré-treinamento utilizou GPUs poderosas para lidar com os cálculos exigentes. Cada modelo foi treinado por um número específico de épocas para garantir que aprendesse o suficiente com os dados.

#Resultados e Descobertas

Nossos resultados mostraram que o pré-treinamento do modelo melhora significativamente o desempenho. Quando comparamos nossos modelos PULSAR com outros modelos de referência, observamos uma melhoria acentuada na capacidade de resumir com precisão os problemas dos pacientes. A estratégia de augmentação de dados também se mostrou eficaz, particularmente para modelos menores, pois proporcionou um impulso necessário no desempenho.

No entanto, também descobrimos que o uso de textos de entrada mais longos não levou a melhores resultados em todos os casos. Isso sugere que o modelo se sai melhor quando pode focar em informações relevantes e concisas em vez de ficar sobrecarregado por muito texto.

Em resumo, nosso trabalho contribui para uma melhor sumarização dos problemas dos pacientes. Introduzimos um método específico de pré-treinamento adaptado para essa tarefa, alcançando uma posição forte na competição oficial sem depender de dados anotados adicionais. No futuro, planejamos investigar como nossos métodos podem ser aplicados a outras áreas dentro da saúde e campos semelhantes.

#Conclusão

Embora nosso modelo proposto mostre resultados promissores, ele também exige recursos computacionais substanciais. Novos métodos que economizam nos custos de treinamento enquanto mantêm o desempenho poderiam democratizar o desenvolvimento de modelos especializados. Também notamos que o tokenizador usado em nosso modelo pode não capturar todos os termos médicos de forma eficaz, o que é uma área que pode ser melhorada em iterações futuras.

Em nossa pesquisa, seguimos padrões éticos rigorosos, usando apenas conjuntos de dados anonimizados existentes e modelos de código aberto para garantir conformidade com os acordos de compartilhamento de dados. Agradecemos o feedback recebido ao longo do processo de pesquisa, pois isso ajudou a refinar nossa abordagem e melhorar nossos resultados.

Ao continuarmos explorando esse campo, nosso objetivo é aprimorar como as informações de saúde são processadas e apresentadas, facilitando o manejo de dados de pacientes para os profissionais de saúde.