Melhorando o Reconhecimento de Entidades Nomeadas Clínicas com LLMs Abertos

O reconhecimento de entidade nomeada (NER) clínico é um processo que ajuda a encontrar termos importantes em documentos clínicos. Recentemente, pesquisadores mostraram que modelos de linguagem grandes (LLMs) podem ser eficazes nessa tarefa. A maioria dos estudos usou LLMs proprietários, mas essa pesquisa analisa como LLMs de NER abertos, projetados para reconhecimento de entidades, se saem em ambientes clínicos. O objetivo é aprimorar esses modelos por meio de uma estrutura chamada decomposição de entidades com filtragem (EDF). A ideia principal é dividir a tarefa de NER em partes menores e incluir um método para filtrar entidades incorretas.

#Importância das Narrativas Clínicas

As narrativas clínicas, que são anotações escritas por profissionais de saúde, contêm muita informação valiosa. No entanto, a natureza livre dessas narrativas dificulta que os sistemas de saúde usem essas informações de forma eficaz. Os dados clínicos tradicionais estão em formatos estruturados, como registros eletrônicos de saúde, mas muita da informação útil está escondida nessas narrativas. Portanto, há uma grande necessidade de métodos melhores para extrair informações de textos clínicos.

#Desafios no NER Clínico

NER é uma parte chave para extrair informações úteis de textos clínicos. Estudos anteriores confiaram em técnicas estabelecidas de processamento de linguagem natural ou métodos de aprendizado supervisionado. Embora os métodos tradicionais possam ser frágeis, o aprendizado supervisionado exige muitos dados anotados, o que pode ser difícil de coletar. Além disso, métodos supervisionados têm dificuldade em lidar com o grande número de conceitos clínicos.

Como solução, LLMs mostram potencial para NER clínico por meio de suas capacidades em aprendizado zero e de poucos exemplos. Enquanto outros estudos se concentram em LLMs para tarefas gerais, essa pesquisa almeja LLMs de NER abertos especificamente treinados para essa função. Experimentos iniciais indicam que há uma diferença de desempenho na recuperação de várias entidades clínicas.

#Estrutura EDF

A estrutura EDF consiste em dividir a tarefa de reconhecimento de entidades, o que permite um processamento mais fácil de sub-entidades. Ao contrário de métodos anteriores, essa abordagem identifica entidades por meio de seus subtipos, que geralmente são mais fáceis de recuperar. No entanto, só usar a decomposição de entidades não é suficiente, pois alguns tipos de sub-entidade podem não representar com precisão a entidade alvo. Para resolver isso, um mecanismo de filtragem é incorporado para melhorar ainda mais o desempenho.

#Trabalhos Relacionados

#LLMs para NER Clínico

Muitos estudos focaram em melhorar LLMs para tarefas clínicas. As abordagens incluem designs de prompts guiados e o uso de engenharia de prompts. A maioria desses trabalhos visa LLMs treinados para lidar com uma variedade de tarefas. Essa pesquisa, no entanto, foca em LLMs de NER abertos que são especificamente treinados para reconhecimento de entidades.

#Decomposição de Tarefas em LLMs

A ideia de dividir tarefas em subtarefas mais simples não é nova. Algumas pesquisas sugeriram usar diálogos em múltiplas rodadas para abordar tarefas complexas como NER. No entanto, esse estudo visa decompor NER no nível da entidade, o que pode permitir melhor precisão e eficiência.

#LLMs de NER Abertas

Em ambientes clínicos, a presença de muitos conceitos e dados anotados limitados torna crucial o desenvolvimento de LLMs de NER abertos. Este estudo se concentra em adaptar esses modelos para usos clínicos sem exigir ajuste fino.

#Definição do Problema

O objetivo dessa pesquisa é extrair entidades significativas de narrativas clínicas, como o histórico médico de um paciente. A estrutura proposta captura essas entidades através de uma tarefa generativa baseada em texto.

#Decomposto de Entidade

O decomposto de entidade é uma parte crucial da estrutura. Ele identifica sub-entidades com base em seus tipos, que podem ser curadas por especialistas clínicos ou ferramentas existentes como bases de conhecimento médico. O processo começa dividindo um tipo de entidade geral em tipos de sub-entidades mais específicos.

#LLM de NER Aberto

Depois que os tipos de sub-entidade são identificados, o próximo passo é usar um LLM de NER aberto para recuperar essas sub-entidades. Isso envolve coletar sub-entidades de forma iterativa. Os modelos escolhidos para essa tarefa são UniversalNER e GNER, ambos conhecidos por seu forte desempenho em tarefas de reconhecimento de entidades.

#Módulo de Filtragem

O último componente da estrutura EDF é o módulo de filtragem. Esse módulo visa eliminar sub-entidades que não pertencem à categoria da entidade alvo. Basicamente, ele funciona como um classificador binário para garantir que apenas entidades relevantes sejam mantidas no resultado final.

#Configuração Experimental

Os experimentos avaliam o desempenho de diferentes LLMs de NER abertos. Os modelos são avaliados usando conjuntos de dados clínicos publicamente disponíveis, incluindo ClinicalIE, i2b2 2010, entre outros. Vários modelos de base são comparados, e métricas como Precisão, Recall e F1-score são usadas para avaliação.

#Modelos de Base e Métricas

Devido a métodos limitados para comparação, a pesquisa usa estudos anteriores como modelos de base. O desempenho da estrutura EDF é analisado através das métricas mencionadas.

#Resultados Experimentais

#Experimento Preliminar

Experimentos iniciais confirmam que LLMs de NER abertos se destacam no reconhecimento de sub-entidades em comparação com entidades alvo. Os resultados indicam uma diferença notável de desempenho ao extrair vários tipos de entidades.

#Desempenho Geral

A estrutura EDF demonstra desempenho melhorado em relação aos modelos de base, alcançando F1-scores mais altos com os modelos UniversalNER e GNER. Os resultados destacam que, enquanto a decomposição de entidades melhora o recall, pode levar a uma precisão mais baixa.

#Troca entre Precisão e Recall

O processo de filtragem melhora a precisão, mas pode reduzir o recall, ressaltando a importância de equilibrar esses dois aspectos para um desempenho ideal.

#Análise de Erros

#Entidades Faltando e Contexto

Apesar das melhorias, algumas entidades ainda não são capturadas. A análise de erros mostra que muitas entidades perdidas são abreviações ou termos com múltiplos significados. Além disso, usar contexto pode melhorar a precisão, mas pode também levar a quedas de desempenho para certos tipos de entidades.

#Polaridade e Desempenho

A análise revela que a presença de polaridade negativa no conjunto de dados afeta negativamente o reconhecimento de entidades "problema". Isso destaca a importância do contexto na classificação precisa de entidades.

#Conclusão e Trabalhos Futuros

A estrutura EDF mostra resultados promissores para reconhecimento de entidade nomeada clínico. Ela supera abordagens anteriores e fornece insights valiosos sobre os componentes de sistemas eficazes de NER. Trabalhos futuros se concentrarão em expandir a aplicabilidade da estrutura além de narrativas clínicas e explorar o uso de modelos proprietários.

#Considerações Éticas

Essa pesquisa é conduzida usando conjuntos de dados abertos que não envolvem seres humanos, garantindo segurança e conformidade com padrões éticos. Avaliações adicionais por especialistas clínicos serão necessárias para implementar essas descobertas em ambientes clínicos reais.