Simplificando Textos Biomédicos para Melhorar a Alfabetização em Saúde

A literatura biomédica muitas vezes tem uma linguagem complicada e termos difíceis que podem ser difíceis de entender para o público em geral. Simplificar essa linguagem é importante para melhorar a alfabetização em saúde entre as pessoas. Usando Modelos de Processamento de Linguagem Natural (NLP), podemos tornar as informações de saúde mais acessíveis para todo mundo.

Neste estudo, analisamos como modelos de linguagem grandes e avançados (LLMs) conseguem simplificar resumos Biomédicos. Usamos um conjunto de dados projetado especialmente para adaptar textos biomédicos para uma linguagem mais simples. Nossos métodos incluíram o ajuste fino de modelos e estratégias de aprendizado baseadas em prompts em vários modelos, como T5, SciFive, BART e modelos GPT.

Avaliar nossos resultados foi feito usando várias métricas automáticas, incluindo BLEU, ROUGE, SARI e BERTScore, além de avaliações humanas.

#Alfabetização em Saúde

De acordo com a Organização Mundial da Saúde (OMS), alfabetização em saúde envolve as habilidades que as pessoas precisam para acessar e usar informações de saúde de forma eficaz. O Serviço Nacional de Saúde do Reino Unido (NHS) destaca dois componentes principais da alfabetização em saúde: a capacidade de uma pessoa de entender as informações e a estrutura do sistema de saúde em si.

Profissionais de saúde geralmente escrevem em termos técnicos sem pensar na compreensão do público. Isso pode dificultar a capacidade das pessoas de gerenciar a própria saúde de forma eficaz. Pesquisas mostraram que baixa alfabetização em saúde está ligada a piores resultados de saúde e uso menos eficaz dos serviços de saúde. Portanto, adaptar informações científicas para uma linguagem simples é crucial para compartilhar conhecimento sobre saúde com o público.

#Trabalhos Relacionados

Para melhorar a alfabetização em saúde, trabalhos anteriores focaram na Simplificação de textos biomédicos. Um esforço notável envolveu o desenvolvimento de uma tarefa que resume revisões biomédicas complexas em uma linguagem mais simples. Pesquisadores exploraram várias técnicas, incluindo o uso de métodos automatizados para avaliar qualidade e legibilidade.

Estudos mostraram os benefícios de diferentes modelos na simplificação de textos biomédicos. Trabalhos recentes usaram conjuntos de dados contendo linguagem leiga e textos de especialistas. Esses modelos melhoraram os resultados em tarefas como resumir relatórios de radiologia e traduzir linguagem complexa em termos mais simples.

#Metodologias

Os métodos usados em nosso estudo envolveram o ajuste fino de vários modelos de linguagem grandes em um conjunto de dados criado para a adaptação de resumos biomédicos para uma linguagem simples. Os modelos que usamos incluem T5, SciFive, BART e vários modelos GPT da OpenAI. Também aplicamos técnicas de controle para melhorar o processo de simplificação.

#Visão Geral dos Modelos

Os diferentes modelos com os quais experimentamos são:

1. T5: O T5 é um modelo avançado projetado para lidar com várias tarefas de linguagem. Ele é eficaz na geração de textos simplificados enquanto mantém o significado.

2. SciFive: O SciFive é especificamente treinado para tarefas biomédicas e se destaca em entender terminologia e conceitos médicos.

3. BART: O BART combina técnicas do BERT e do GPT. Ele utiliza várias estratégias de mascaramento para gerar saídas significativas.

4. Modelos GPT: Os modelos GPT, como o GPT-3.5 e o GPT-4, oferecem fortes capacidades em geração e simplificação de texto.

#Técnicas de Treinamento

Usamos uma variedade de estratégias de treinamento, incluindo ajuste fino com conjuntos de dados existentes e métodos de aprendizado baseados em prompts. Tokens de controle foram integrados ao BART para guiar o processo de simplificação. Esses tokens ajudam a gerenciar a complexidade da saída ajustando vários parâmetros relacionados à estrutura e clareza das frases.

#Métricas de Avaliação

Usamos várias métricas para avaliar o desempenho dos modelos:

• BLEU: Mede a sobreposição de n-grams entre os textos gerados e as referências.

• ROUGE: Foca na recuperação e verifica quantos n-grams significativos das referências aparecem nas saídas geradas.

• SARI: Avalia a fluência e adequação nos textos gerados, considerando precisão, recall e comprimento.

• BERTScore: Analisa a similaridade semântica comparando embeddings de um modelo BERT pré-treinado.

#Experimentos e Resultados

Utilizamos o conjunto de dados PLABA, que consiste em 750 resumos biomédicos simplificados para o entendimento do público. O conjunto de dados foi dividido em conjuntos de treinamento, validação e teste, garantindo uma distribuição equilibrada para avaliar adequadamente os resultados dos modelos.

#Avaliação Automática

Os resultados mostraram que os modelos ajustados tiveram um bom desempenho em várias métricas. Por exemplo, o modelo BART com tokens de controle alcançou a maior pontuação SARI, enquanto o T5 teve a maior pontuação em BERTScore, indicando um equilíbrio entre simplificação e preservação de significado.

#Avaliação Humana

Nas avaliações humanas, selecionamos aleatoriamente saídas de nossos modelos para avaliar clareza e retenção de informações. Os avaliadores classificaram as frases em uma escala de concordo totalmente a discordo totalmente, fornecendo insights sobre quão bem os modelos simplificaram os textos sem perder detalhes importantes.

#Discussão

As descobertas destacam que, embora tanto T5 quanto BART tenham suas forças, eles também apresentaram diferenças críticas. O T5 frequentemente mantinha o significado do texto original, mas era menos eficaz em simplificá-lo. Por outro lado, o BART conseguia simplificar a linguagem de forma mais eficaz, mas isso às vezes prejudicava a precisão na preservação do significado pretendido.

#Comparações de Modelos

Ao comparar os modelos, ficou claro que há uma troca entre simplificação e retenção de significado. O T5 mostrou grandes capacidades em preservar o significado, mas ofereceu menos simplificação. O BART, embora melhor em clareza, ocasionalmente introduzia mal-entendidos ou mudava a mensagem pretendida.

#Conclusões e Trabalho Futuro

Este trabalho demonstra o potencial de modelos de linguagem grandes para simplificar resumos biomédicos e melhorar a compreensão pública das informações de saúde. No futuro, planejamos explorar outros LLMs e técnicas de ajuste fino para aprimorar ainda mais a eficácia de nossos modelos. Analisando mais conjuntos de dados e melhorando métodos de avaliação, queremos criar ferramentas de simplificação que possam ajudar significativamente na alfabetização em saúde entre diferentes públicos.

#Considerações Éticas

É crucial notar que, embora esses modelos possam produzir saídas razoáveis, eles não devem ser vistos como substitutos para aconselhamento profissional de saúde. Os resultados indicam a necessidade de continuação do refinamento e validação desses modelos para uso público.

#Contribuições dos Autores

Cada autor contribuiu para a pesquisa, desde a realização de experimentos e avaliações até a redação de várias seções deste trabalho. A colaboração garantiu um estudo abrangente que aborda tanto aspectos técnicos quanto práticos da simplificação de textos biomédicos.