Geração de Dados Sintéticos para Modelos de Linguagem Clínica

Modelos de linguagem clínica têm um papel importante na saúde, ajudando em tarefas como suporte à decisão e compreensão de dados de pacientes. Mas criar esses modelos requer acesso a muitos textos clínicos, o que pode ser difícil de conseguir por causa das regras de privacidade dos pacientes. Este estudo analisa como podemos reformular Notas Clínicas existentes usando grandes modelos de linguagem (LLMs) para criar dados de treinamento sintéticos. Fazendo isso, esperamos ajudar instituições de saúde a desenvolver modelos melhores sem precisar depender só de notas clínicas reais.

#A Necessidade de Dados Clínicos

Na saúde, os modelos de linguagem estão se tornando mais importantes, pois podem melhorar várias aplicações. Contudo, para esses modelos funcionarem bem, eles precisam ser treinados com dados clínicos. Esse processo de treinamento, chamado de Pré-treinamento, ajuda os modelos a se adaptarem às necessidades específicas da saúde. Infelizmente, as regras de privacidade e conformidade em relação aos Registros eletrônicos de saúde (EHRs) dificultam a obtenção de notas clínicas suficientes para esse propósito.

Enquanto algumas grandes organizações de saúde podem usar seus próprios dados de EHR para treinamento, isso não é uma opção para instituições menores. O resultado é uma desaceleração na pesquisa voltada para melhores modelos de linguagem que poderiam melhorar os resultados de saúde.

#Explorando Dados Sintéticos

Para lidar com a escassez de dados clínicos, pesquisadores têm investigado o uso de dados sintéticos para várias tarefas clínicas. Alguns métodos existentes funcionam bem, mas são mais focados em tarefas específicas e não em treinamento geral. Uma abordagem recente tentou usar o ChatGPT para criar resumos clínicos com base em perfis de pacientes encontrados na literatura médica. Embora esse método mostre potencial para gerar notas clínicas sintéticas, ele depende muito do conhecimento existente do LLM, o que pode levar a imprecisões.

Em vez de começar do zero, este estudo propõe pegar notas clínicas reais e reformulá-las usando LLMs. Esse método é inspirado em trabalhos anteriores que mostraram como reformular dados da web pode beneficiar modelos de linguagem geral. Usando dados de EHR existentes, podemos criar um conjunto de dados de treinamento sintético mais confiável.

#Como Funciona a Reformulação

Para nossa abordagem, utilizamos vários LLMs para reformular notas clínicas. O objetivo é criar dados de pré-treinamento que ajudem os modelos a entender melhor a linguagem clínica. Desenvolvemos três prompts diferentes para guiar como os LLMs devem reformular essas notas, focando em clareza, profissionalismo e precisão médica.

1. Prompt 1: Pede ao LLM para criar uma paráfrase diversificada em inglês de alta qualidade, como você encontraria na Wikipedia.
2. Prompt 2: Semelhante ao Prompt 1, mas especificamente solicita um tom médico profissional.
3. Prompt 3: Baseia-se no Prompt 2, pedindo ao LLM para explicar qualquer termo médico usado.

Usando esses prompts, dividimos as notas clínicas em partes gerenciáveis para que os LLMs possam processar. É importante manter essas partes razoavelmente pequenas—cerca de 300 tokens—para garantir que o LLM não perca informações importantes durante a reformulação.

#Os LLMs Usados para Reformulação

Examinamos quatro LLMs menores, todos com menos de 10 bilhões de parâmetros, para ver como eles lidavam com texto clínico. Isso incluiu Llama-3.1, Mistral-0.3, Qwen-2 e Gemma-2. Evitamos usar modelos maiores porque costumam exigir mais recursos e não eram tão eficientes para nossas necessidades.

Para nossos dados de origem, utilizamos resumos de alta de pacientes do banco de dados MIMIC-III. Esses resumos oferecem uma visão abrangente do cuidado ao paciente, tornando-os um recurso valioso para gerar dados clínicos diversos e significativos.

#Avaliando a Perplexidade

Para ver como nosso método de reformulação funcionou, medimos a perplexidade dos modelos de linguagem nos dados sintéticos que produziram. Pontuações de perplexidade mais baixas indicam melhor desempenho na compreensão e geração de linguagem. Nossos resultados mostraram que o método de reformulação superou significativamente métodos anteriores de dados sintéticos que não usaram notas clínicas reais.

Curiosamente, descobrimos que diferentes LLMs responderam de forma única aos prompts. Por exemplo, o Qwen-2 teve um desempenho melhor com prompts focados em medicina, enquanto o Mistral-0.3 se saiu bem com prompts voltados para paráfrase geral.

#Ajustando com Notas Reais e Sintéticas

Depois, exploramos como modelos de linguagem baseados em codificadores poderiam ser ajustados usando tanto notas clínicas reais quanto sintéticas. Isso ajuda a preencher a lacuna onde instituições de saúde podem não ter dados de EHR aprovados suficientes para treinar seus modelos.

Testamos nossos modelos em várias tarefas de NLP clínica, como inferência de linguagem natural e reconhecimento de entidades nomeadas. Os dados revelaram que modelos aumentados com notas sintéticas geralmente tiveram um desempenho melhor do que modelos padrão, destacando os benefícios da nossa estratégia de reformulação.

#Resultados Promissores

Através de nossos experimentos, mostramos que combinar dados sintéticos gerados por vários prompts pode levar a um desempenho mais forte. Curiosamente, enquanto alguns prompts prejudicaram o desempenho em testes de perplexidade, eles melhoraram os resultados de ajuste. Isso sugere que certos prompts podem ser mais adequados para tarefas específicas.

Nossa abordagem é particularmente empolgante, pois permite um orçamento de recursos e tokens muito menor em comparação com métodos tradicionais, enquanto ainda alcança resultados superiores.

#Direções Futuras

Embora este estudo tenha focado na eficácia quantitativa da reformulação, reconhecemos a importância da análise qualitativa também. Entender quão bem as notas reformuladas mantêm o significado e a estrutura originais será essencial para pesquisas futuras.

É importante garantir que, ao reformular notas clínicas, os LLMs não alterem acidentalmente o significado ou introduzam imprecisões nas informações. Estudos futuros investigarão como diferentes prompts impactam a qualidade da reformulação e se levam a preconceitos ou imprecisões no texto gerado.

Além disso, pretendemos expandir nosso conjunto de dados incorporando mais tipos de notas clínicas, o que ajudará a criar modelos mais robustos para uma variedade de aplicações em saúde.

#Conclusão

Nossa pesquisa destaca o potencial de usar LLMs para reformular notas clínicas a fim de gerar conjuntos de dados de pré-treinamento para modelos de linguagem. Ao explorar esse método mais a fundo e escalá-lo, podemos melhorar o desenvolvimento de modelos de linguagem clínica eficazes que podem aprimorar o cuidado ao paciente e apoiar os profissionais de saúde.

#Amostras de Notas Reformuladas

Para ter uma ideia do nosso processo, reformulamos exemplos dos quatro LLMs com base em texto clínico real. Cada modelo produziu saídas ligeiramente diferentes, mostrando suas forças e estilos individuais. Alguns mantiveram a estrutura da nota original, enquanto outros foram mais sucintos.

Entender essas diferenças estilísticas será crucial enquanto trabalhamos para refinar nossos métodos e melhorar a qualidade dos dados sintéticos que produzimos.

#O Futuro dos Modelos de Linguagem Clínica

O cenário da saúde está em constante mudança, e a necessidade de ferramentas confiáveis e eficientes para processar informações clínicas continua a crescer. À medida que avançamos em nossa compreensão e técnicas para gerar dados de treinamento, o potencial para melhorar os resultados em saúde se torna mais claro.

Ao focar na reformulação de notas clínicas existentes, não apenas respeitamos a privacidade do paciente, mas também criamos recursos valiosos que podem ajudar a impulsionar a próxima geração de modelos de linguagem clínica. A combinação de dados reais e sintéticos oferece promessas para soluções mais eficazes e escaláveis que podem atender às necessidades dos profissionais de saúde e apoiar um melhor cuidado ao paciente.

À medida que avançamos com essa pesquisa, agradecemos aos nossos revisores pelo feedback perspicaz, que ajudou a aprimorar este trabalho. Estamos ansiosos para liberar conjuntos de dados maiores para investigar mais esses achados e contribuir para o desenvolvimento contínuo de modelos de linguagem clínica na área da saúde.