Avaliando Modelos GPT em Pesquisa Biomédica

Grandes modelos de linguagem (LLMs) como o GPT-3.5-Turbo e o GPT-4 se tornaram ferramentas populares em várias áreas, incluindo pesquisa biomédica. Este artigo analisa como esses modelos vão bem em responder perguntas biomédicas, especificamente através de um estudo numa competição chamada BioASQ. A ideia é mostrar como esses modelos podem gerar respostas e lidar com tarefas biomédicas complexas.

#O Desafio BioASQ

BioASQ é um conjunto de tarefas projetadas para testar sistemas sobre como eles lidam com perguntas na área biomédica. Ajuda pesquisadores e desenvolvedores a ver como essas ferramentas podem ser usadas em situações reais. No seu 11º ano, o desafio inclui três tarefas principais relacionadas a perguntas biomédicas e Reconhecimento de Entidades Nomeadas.

As tarefas são:

1. Resposta a Perguntas Semânticas Biomédicas
2. Resposta a Perguntas com Recuperação de Documentos
3. Reconhecimento de Entidades Nomeadas de Procedimentos Médicos em textos em espanhol.

Este artigo foca principalmente nas segunda e terceira tarefas.

#Visão Geral das Tarefas

#Fase A: Recuperação de Documentos

Na Fase A, os sistemas recebem perguntas biomédicas, tipo "Qual proteína é alvo do Herceptin?". Eles precisam encontrar e listar até 10 artigos relevantes de um grande banco de dados, o PubMed. Eles também extraem trechos úteis dos títulos e resumos dos artigos. O desempenho é medido por algo chamado Precisão Média (MAP), que verifica como os sistemas retornam informações relevantes.

#Fase B: Geração de Respostas

Na Fase B, as mesmas perguntas são feitas, mas com informações adicionais. Os sistemas recebem uma lista de artigos e trechos corretos selecionados por especialistas. Então, eles devem gerar uma resposta curta, usando as informações fornecidas. As perguntas são marcadas com diferentes tipos, como sim/não, fatos ou listas, que determinam como a resposta deve ser formatada.

Exemplos de tipos de perguntas incluem:

• Perguntas Sim/Não: As respostas devem ser "sim" ou "não".
• Perguntas Fato: As respostas são uma lista de até 5 itens.
• Perguntas de Lista: As respostas são uma lista de até 100 itens.

O objetivo é ver como bem esses modelos podem gerar respostas precisas e úteis com base no treinamento e nas informações fornecidas.

#Os Modelos GPT

O GPT-3.5-Turbo e o GPT-4 são modelos avançados criados pela OpenAI. Eles usam uma técnica chamada aprendizado por reforço a partir de feedback humano para melhorar sua precisão e a capacidade de entender instruções. Enquanto o GPT-3.5-Turbo é projetado para chat, o GPT-4 é o mais recente e dizem que se sai bem em muitos testes, até processando imagens junto com texto.

Esses modelos são feitos para funcionar sem precisar de muitos dados de treinamento. Eles podem completar tarefas usando exemplos mínimos, chamado aprendizado com poucos exemplos, ou só uma pergunta ou descrição da tarefa, conhecido como aprendizado sem exemplos.

#Configuração do Experimento

Para nossos experimentos, acessamos o GPT-3.5-Turbo e o GPT-4 através de uma API, que é uma forma de interagir com os modelos. Criamos uma mensagem de sistema para guiar o comportamento do modelo, dizendo que ele é um expert em responder perguntas biomédicas. Depois, fizemos várias perguntas e fornecemos informações para ver como eles se saíram.

Fizemos testes com os modelos usando uma seleção de perguntas de desafios anteriores e ajustamos algumas configurações para controlar a aleatoriedade e repetição nas respostas. O objetivo era ver como cada modelo lidava com diferentes tarefas biomédicas.

#Resultados da Fase A

Nos nossos testes da Fase A, usamos aprendizado sem exemplos para expandir as consultas de busca e classificar os resultados. Pesquisamos no banco de dados PubMed para encontrar artigos relacionados às perguntas e checamos como nossos modelos se saíram na recuperação dos documentos certos.

Os resultados mostraram que o GPT-4 teve um desempenho melhor que o GPT-3.5-Turbo na recuperação e classificação de artigos. A expansão de consultas se mostrou benéfica para ambos os modelos, levando a uma melhor recuperação de informações relevantes. No entanto, nossa abordagem teve um desempenho abaixo do esperado em comparação a outros sistemas. Possíveis razões incluem não usar métodos avançados para recuperar artigos e depender demais das palavras-chave geradas pelos modelos.

#Resultados da Fase B

Na Fase B, focamos em gerar respostas usando os trechos de informação fornecidos aos modelos. Realizamos testes com e sem essa informação de base. Os resultados indicaram que o GPT-4 teve um desempenho melhor que o GPT-3.5-Turbo na maioria dos formatos de perguntas sim/não e competiu de perto em perguntas fato e listas.

Os modelos que responderam perguntas sem qualquer contexto adicional de trechos tiveram dificuldade em competir com os sistemas de melhor desempenho. No entanto, seu desempenho ainda foi considerado bom, visto que se basearam apenas em seu conhecimento pré-existente.

#Tarefa MedProcNER

Na tarefa MedProcNER, que focou em reconhecer procedimentos médicos em espanhol, o GPT-4 mostrou resultados melhores que o GPT-3.5-Turbo, mas ainda assim não conseguiu competir com o melhor sistema. Nossa metodologia de ligação e indexação de entidades era mais simples e não trouxe resultados fortes em comparação com outros.

#Discussão

O estudo mostrou que esses modelos de linguagem avançados conseguem lidar com tarefas no domínio biomédico de forma razoável, especialmente quando recebem instruções específicas e informações relevantes. Eles mostraram alguma variabilidade em suas respostas, mesmo com o controle da aleatoriedade, o que pode afetar a precisão geral.

Notamos que, embora usar esses modelos seja fácil devido à sua configuração rápida e à necessidade mínima de dados, ainda existem desafios. Questões como os modelos gerando formatos de resposta incorretos e enfrentando erros de servidor exigem que os sistemas lidem melhor com essas situações.

Além disso, o custo de usar esses modelos pode ser uma barreira para alguns pesquisadores. Combinar modelos avançados com técnicas especiais para melhorar o desempenho e reduzir custos pode ser crucial para torná-los mais acessíveis.

#Trabalho Futuro

À medida que olhamos para o futuro, há áreas para mais exploração. Melhorar a forma como orientamos os modelos e fundamentar as respostas no contexto certo são essenciais para um desempenho melhor. Entender a precisão factual das respostas geradas também é fundamental. Precisamos investigar quão bem esses modelos conseguem distinguir informações corretas de informações incorretas ou enganosas.

O desempenho de diferentes tamanhos de modelos e sua capacidade de competir com sistemas ajustados será importante para futuras pesquisas. Modelos menores podem abrir novas oportunidades para usar essas ferramentas sem a necessidade de configurações caras.

#Considerações Éticas

Usar grandes modelos de linguagem em tarefas biomédicas levanta algumas questões éticas. A privacidade dos dados é uma preocupação principal. Embora esses modelos não lembrem exemplos específicos, ainda há o risco de gerar informações sensíveis. Garantir que respeitemos a privacidade é crucial.

Outra consideração envolve a precisão factual. Os modelos às vezes fornecem informações enganosas, o que pode ser prejudicial. Implementar uma checagem sólida de fatos é necessário, especialmente em campos sensíveis como a saúde.

Os aspectos financeiros de usar modelos comerciais também trazem desafios. Nem todo mundo pode arcar com os custos, o que pode levar a desigualdades nas oportunidades de pesquisa. Confiar demais nessas ferramentas pode acabar dificultando a inovação a longo prazo.

Finalmente, a natureza desses modelos como caixas-pretas levanta questões sobre sua transparência. Os usuários precisam saber como esses modelos funcionam e como interpretar suas saídas para usá-los de forma responsável.

#Conclusão

O potencial dos grandes modelos de linguagem no campo biomédico é significativo, mas a consideração cuidadosa das implicações éticas é vital. Nossos achados mostram que o aprendizado sem exemplos e com poucos exemplos com esses modelos pode lidar eficazmente com perguntas específicas do domínio. Eles simplificam o desenvolvimento de sistemas complexos, especialmente onde os dados de treinamento são limitados.

Desafios permanecem na elaboração de prompts e fundamentação das respostas geradas. Apesar das limitações em velocidade e custos, a pesquisa contínua visa melhorar a acessibilidade e confiabilidade geral desses modelos. O futuro do uso dessas ferramentas avançadas em aplicações biomédicas parece promissor, mas a atenção às considerações éticas será essencial em seu desenvolvimento e implementação.