Auto-consistência em Modelos de Linguagem de Longo Contexto

A auto-consistência (AC) é uma forma de fazer modelos de linguagem grandes (MLGs) se saírem melhor em tarefas que envolvem textos curtos. Mas e quando o texto é longo? Este estudo analisa se a AC pode ajudar quando os MLGs precisam entender informações longas.

Os MLGs geralmente são bons em lidar com solicitações curtas. Ainda assim, eles costumam se atrapalhar com textos longos, principalmente por causa de algo chamado Viés de Posição. Isso significa que onde a informação está localizada no texto pode atrapalhar bastante como o modelo pode usar essa informação. Testamos a AC nesses contextos longos, verificando vários fatores como diferentes modelos, quão longa é a contextualização, como fazemos as perguntas e os tipos de tarefas envolvidas.

Nossos resultados mostram que a AC não ajuda muito em tarefas de longo contexto. Na verdade, pode até piorar as coisas! Também descobrimos que o quão bem a AC funciona depende do comprimento do contexto e do Tamanho do modelo, mas não muda muito com base em como formulamos nossas solicitações ou qual tipo de tarefa estamos fazendo.

#O Desafio dos Longos Contextos

Os MLGs mostraram que conseguem realizar vários trabalhos através de solicitações, mas também enfrentam problemas. Alguns estudos mostram que os MLGs podem falhar catastróficamente em tarefas fáceis que humanos resolvem sem pensar. Para enfrentar esses desafios, a AC foi sugerida como uma forma de melhorar as respostas através da média de várias respostas. A maioria das pesquisas focou em tarefas mais curtas, então é super importante ver como a AC se sai com textos mais longos.

Imagina isso: a AC em uma tarefa de longo contexto é como procurar uma agulha em um palheiro. Você tem uma pergunta, um monte de documentos, e um desses documentos tem a resposta. A AC cria várias respostas iniciais e depois combina elas para encontrar a melhor.

Este artigo investiga se a AC pode ajudar a corrigir os problemas encontrados em longos contextos. Estudos anteriores apontaram que os MLGs muitas vezes mostram viés de posição em tarefas longas. Isso significa que eles não utilizam a informação de forma eficaz com base em onde ela está localizada no texto.

#Perguntas de Pesquisa

Tivemos curiosidade sobre algumas coisas:

• A AC pode melhorar o Desempenho geral em tarefas de longo contexto?
• Como a AC lida com o viés de posição?
• A AC é consistente quando mudamos os tamanhos dos modelos, tipos de tarefas ou como a configuramos?

Para responder a essas perguntas, usamos dois conjuntos de dados: NaturalQuestions e QuALITY. Esses foram escolhidos pela aplicabilidade no mundo real. Também olhamos para vários fatores de design, incluindo os tipos de tarefas, diferentes modelos, como formulamos as perguntas e quão longos eram os contextos.

#O Que Descobrimos Sobre Auto-Consistência

Descobrimos que a AC não melhora muito o desempenho. Não ajuda com o viés de posição também e pode até piorar as coisas. Por exemplo, alguns modelos se saem melhor quando as evidências chave estão no começo ou no final do texto, enquanto outros têm uma queda no desempenho independentemente de onde a informação importante está localizada.

Também testamos diferentes configurações como tamanhos de modelos e como formulamos as coisas, mas não encontramos mudanças significativas nos nossos resultados. Modelos maiores tiveram uma leve vantagem em desempenho, mas não viram grandes melhorias com a AC.

#Auto-Consistência e Longos Contextos

A AC deveria ajudar os MLGs a se saírem melhor ao fazer uma média das respostas, mas encontramos que ela deixa a desejar em longos contextos. Na verdade, pode até piorar o problema do viés de posição. Nossos testes mostraram que a posição da informação relevante faz uma grande diferença: os modelos se saem melhor quando os detalhes importantes estão no começo ou no final do texto, não no meio.

Em tarefas de recuperação de texto, o desempenho cai significativamente à medida que a informação relevante se distancia do contexto. Isso significa que a AC não resolve esses problemas e, em vez disso, pode piorar o desempenho, especialmente em modelos maiores.

#O Impacto do Tamanho do Modelo e da Formulação

Investigamos se modelos maiores se saem melhor com a AC, e embora geralmente tenham um desempenho melhor, ainda não conseguem superar o viés de posição. Também checamos como mudar as formas de fazer perguntas poderia afetar o desempenho. Algumas formulações ajudaram um pouco, mas nada resolveu o problema maior do viés de posição.

Quando mexemos com parâmetros de auto-consistência, como o número de respostas geradas ou as configurações de temperatura, descobrimos que aumentar o número de tentativas geralmente ajudou em algumas áreas, mas prejudicou outras. A temperatura não teve um grande impacto, a menos que estivesse configurada muito alta, o que causou problemas.

#Avançando

Nossa pesquisa indica que a AC não ajuda com os problemas que surgem do processamento de textos longos. Embora funcione para contextos curtos, falha dramaticamente quando o texto é mais longo. Os problemas estão provavelmente embutidos no design dos modelos.

O que tudo isso significa? Primeiro, talvez precisemos mudar a forma como pensamos sobre tarefas de longo contexto e procurar melhores maneiras de projetar modelos que considerem como a posição afeta o desempenho geral. Em segundo lugar, a AC pode não ser a resposta para tarefas mais longas; em vez disso, precisamos buscar soluções que tratem o viés de posição durante a fase de treinamento do modelo.

Em conclusão, nosso estudo mostra que a AC não melhora o desempenho em tarefas de longo contexto. Isso destaca a necessidade de mudanças mais profundas na maneira como construímos e treinamos modelos de linguagem de longo contexto. É um lembrete de que o que funciona para textos curtos pode não funcionar para os mais longos.

#Agradecimentos

Queremos agradecer a todos que nos ajudaram com discussões e forneceram apoio para nossos experimentos.

#Limitações do Estudo

Embora tenhamos usado conjuntos de dados reais para nossos testes, eles podem não capturar completamente todos os aspectos do uso de longo contexto, especialmente em configurações de conversa. Além disso, nossos experimentos tiveram um limite no número de amostras para a AC devido a restrições práticas. Gerar amostras demais pode ser ineficiente, e nossos testes mostraram que há um ponto de retornos decrescentes.

Por fim, aplicações bem-sucedidas da AC muitas vezes precisam concordar com o raciocínio por trás das respostas também, especialmente em tarefas que exigem algum pensamento. Como focamos em perguntas de longo contexto, não nos aprofundamos nesse aspecto, mas pode valer a pena explorar em pesquisas futuras.

Este trabalho serve como um ponto de partida para mais pesquisas sobre auto-consistência e tarefas de longo contexto, oferecendo insights sobre os desafios enfrentados nesses cenários. É um convite para pensar fora da caixa e buscar melhores abordagens para entender longos textos com MLGs.