Melhorando os Resultados de Modelos de Linguagem com Modelos Menores

As capacidades dos grandes modelos de linguagem (LLMs) podem levar a um problema comum: gerar afirmações falsas conhecidas como "Alucinações". Pesquisas recentes focaram em métodos para editar e atribuir essas saídas, especialmente usando técnicas baseadas em prompt. No entanto, a velocidade e o custo de usar grandes modelos podem dificultar esses métodos. Para resolver isso, propomos um novo método que envolve treinar modelos menores para editar essas saídas de forma eficaz.

Nossa abordagem usa grandes modelos de linguagem para criar corrupções no texto, permitindo que ajustemos modelos menores para corrigir esses erros, incorporando Evidências relevantes. Esse método é não supervisionado e fornece uma maneira de gerar alucinações falsas em diferentes domínios.

Nosso modelo, chamado Petite Unsupervised Research and Revision (PURR), não só melhora a Atribuição em comparação com métodos existentes, mas também roda muito mais rápido. O processo envolve pegar uma consulta inicial para reunir evidências relevantes, resumir isso em uma afirmação e depois corromper essa afirmação antes de treinar o editor para corrigir.

Enquanto os LLMs têm forças significativas, eles também têm fraquezas notáveis, especialmente ao gerar afirmações falsas ou enganosas. Os métodos atuais para corrigir essas saídas muitas vezes dependem de recuperar evidências para apoiar as afirmações feitas.

#Visão Geral da Tarefa de Edição para Atribuição

Nosso principal objetivo é atribuir as saídas dos modelos de linguagem e corrigir imprecisões. Isso envolve produzir um relatório de atribuição que contenha trechos de evidências para apoiar a afirmação e uma declaração revisada que conserte quaisquer erros.

Avaliamos esses sistemas de edição com base em dois critérios: atribuição-quão bem as declarações original e revisada se conectam às evidências-e preservação-quanto da mensagem original permanece igual. Nosso objetivo é maximizar ambos os aspectos, usando métricas automatizadas que se alinhem bem com as avaliações humanas.

#Gerando Declarações Limpa Com Evidências

Para criar uma declaração limpa emparelhada com evidências, começamos com uma consulta e usamos um mecanismo de busca para encontrar informações relacionadas. As páginas principais são divididas em trechos, e usamos um sistema de pontuação para selecionar os mais relevantes como evidência.

Depois de reunir essas evidências, pedimos a um modelo de linguagem para resumi-las em uma declaração limpa. Esse resumo deve refletir com precisão as evidências coletadas. Em seguida, introduzimos ruído ou corrompemos a declaração limpa mudando certos detalhes, simulando as imprecisões que os LLMs poderiam gerar.

#Dados de Treinamento e Resultados

Usamos um modelo específico (GPT-3.5) para ajudar a gerar resumos e introduzir erros. Começando com aproximadamente 6.000 consultas iniciais em vários tópicos, criamos um conjunto de dados contendo 6.000 instâncias editadas. Esse processo de treinamento é eficiente, custando cerca de 250 USD.

Nossos resultados mostram que nosso novo modelo, PURR, supera editores existentes fazendo ajustes menores enquanto melhora a atribuição. A eficiência do nosso modelo permite que ele opere muito mais rápido do que outros modelos maiores.

#Análise de Erros e Trabalhos Futuros

Analisamos o desempenho do nosso sistema, focando em instâncias onde a atribuição foi baixa após a edição. A maioria dos erros veio de lacunas no modelo de geração de perguntas ou de não recuperar a evidência mais adequada.

Melhorias futuras trabalharão na melhoria da corrupção introduzida durante o treinamento. Um melhor manejo de distrações desafiadoras é crucial para refinar nosso processo de edição.

#Conclusão

Desenvolvemos uma maneira eficiente de editar as saídas de modelos de linguagem que melhora a atribuição enquanto preserva a mensagem original. Nosso método aproveita grandes modelos para criar dados de treinamento para editores menores e mais rápidos, oferecendo uma solução prática para os desafios apresentados pelas alucinações na geração de linguagem.