Avaliando o Não Determinismo em Modelos de Linguagem Grandes

Modelos de linguagem grandes (LLMs), como os usados em chatbots e outras aplicações de IA, produzem resultados diferentes com base na mesma entrada por causa de uma característica chamada Não-determinismo. Enquanto muitos estudos avaliam o Desempenho desses modelos analisando uma única saída para cada entrada, esse método não captura a variação real do desempenho deles em situações do dia a dia. Este artigo discute a importância de considerar o não-determinismo ao avaliar a eficácia dos LLMs e apresenta descobertas sobre como diferentes estratégias de decodificação impactam seu desempenho.

#O Problema com Avaliações Atuais

A maioria das avaliações de LLMs foca em uma saída por exemplo, o que não dá uma visão completa de como esses modelos se comportam. Essa limitação se deve principalmente ao alto custo de testar LLMs, já que gerar várias saídas exige mais poder computacional. Ignorar o não-determinismo nas avaliações restringe nossa capacidade de avaliar plenamente as capacidades dos LLMs. Além disso, sem rastrear o quanto os resultados variam, fica difícil ver como esses modelos podem se sair no mundo real.

Decodificação gulosa e Amostragem são métodos comuns para gerar respostas a partir de LLMs. A decodificação gulosa produz a saída com a maior probabilidade a cada passo, enquanto a amostragem introduz aleatoriedade no processo. Estudos recentes levantaram preocupações de que os LLMs podem mostrar um desempenho instável, especialmente em tarefas que dependem de raciocínio e codificação.

#Questões de Pesquisa Principais

Este estudo busca responder a várias perguntas importantes sobre o não-determinismo dos LLMs:

1. Como varia a diferença de desempenho entre decodificação gulosa e amostragem?
2. Quando um método é melhor que o outro, e por quê?
3. Quais benchmarks mostram mais consistência em relação ao não-determinismo?
4. Os diferentes modelos têm comportamentos únicos?

Ao examinar essas questões, esperamos entender melhor como os LLMs respondem a diferentes estratégias de decodificação.

#Descobertas dos Experimentos

Através de experimentos extensivos, encontramos vários pontos interessantes:

• Para a maioria das tarefas, modelos que usaram decodificação gulosa se saíram melhor do que os que usaram amostragem. No entanto, há exceções, como em certos casos no benchmark AlpacaEval, onde a amostragem mostrou melhor desempenho.
• A consistência de desempenho variou entre diferentes tamanhos de modelo e métodos de Alinhamento. Notavelmente, alinhar LLMs pode reduzir a variação vista nas amostras.
• Modelos menores, ao usar uma abordagem de amostragem best-of-N (selecionando a melhor resposta entre várias amostras), podem se sair tão bem ou até melhor que modelos maiores, como o GPT-4-Turbo.
• Alta variabilidade foi observada em certos benchmarks, especialmente em tarefas de raciocínio, onde havia uma diferença notável entre as melhores e piores saídas na amostragem.

#Insights Específicos de Tarefas

Ao explorar como diferentes tarefas afetavam o desempenho do modelo, percebemos que certos benchmarks mostraram mais consistência. Por exemplo, MixEval e MMLU exibiram desempenho estável devido às opções de resposta limitadas. Por outro lado, tarefas como GSM8K e HumanEval apresentaram flutuações significativas de desempenho, com gaps superiores a 10 pontos entre as melhores e piores saídas de amostragem.

Ao comparar decodificação gulosa e amostragem, a decodificação gulosa geralmente levou a um desempenho melhor em uma ampla gama de tarefas. No entanto, para tarefas mais simples e abertas, como as encontradas no AlpacaEval, a amostragem tende a produzir melhores respostas.

#Efeitos de Escalonamento e Alinhamento

Também analisamos como o escalonamento (aumento do tamanho do modelo) e métodos de alinhamento (treinar modelos para melhorar com base nas preferências) afetavam o não-determinismo. Ao contrário da suposição de que modelos maiores mostrariam menor variabilidade, nossas descobertas indicaram que o escalonamento não reduziu consistentemente a variância da amostragem.

Técnicas de alinhamento como DPO (Otimização de Preferências Diretas) mostraram reduzir a variância nas saídas amostradas. No entanto, nem todo método de alinhamento melhorou o desempenho de forma geral; algumas abordagens levaram a resultados piores em benchmarks específicos.

#O Papel dos Parâmetros de Decodificação

Examinamos como parâmetros específicos afetam o não-determinismo. Por exemplo, a configuração de temperatura controla quão aleatório é o processo de amostragem. Uma temperatura mais baixa leva a saídas mais previsíveis, enquanto uma mais alta permite maior variabilidade. Nossa pesquisa indicou que, embora temperaturas mais altas beneficiassem algumas tarefas, prejudicavam o desempenho em tarefas de raciocínio.

Penalidades de repetição, que incentivam os modelos a usar palavras novas em vez de repetir as anteriores, também foram testadas. Na maioria dos casos, manter a penalidade padrão produziu os melhores resultados, mas algumas tarefas mostraram melhorias quando as penalidades foram ajustadas.

#Aprendendo com o Não-Determinismo

Ao analisar o não-determinismo, podemos revelar padrões de como os modelos geram saídas. Por exemplo, descobriu-se que a decodificação gulosa frequentemente produzia respostas mais curtas em comparação com o comprimento médio das respostas amostradas. No entanto, em alguns casos, como com os modelos da série Yi, os comprimentos das respostas eram semelhantes, independentemente do método utilizado.

Em um estudo de caso particular usando um modelo em uma tarefa de matemática, ficou claro que a decodificação gulosa consistentemente produziu respostas corretas, enquanto a amostragem teve uma alta taxa de erro.

#A Abordagem Best-of-N

Para aproveitar todo o potencial dos LLMs, usamos uma estratégia best-of-N, selecionando a melhor resposta de várias respostas geradas. Ao usar modelos que classificam essas respostas, LLMs menores podem potencialmente superar modelos maiores em vários benchmarks.

Isso indica que até mesmo modelos menores possuem capacidades fortes, enfatizando que a melhoria no alinhamento deve se concentrar em interpretar robustamente o conhecimento e os caminhos de raciocínio.

#Conclusão e Direções Futuras

Em conclusão, avaliar modelos de linguagem grandes requer uma abordagem cuidadosa que considere o não-determinismo. Este estudo destaca como diferentes estratégias de decodificação influenciam o desempenho do modelo e fornece uma compreensão mais profunda do comportamento dos LLMs em várias tarefas. As descobertas instigam os pesquisadores a explorar o não-determinismo mais a fundo em estudos futuros, com o objetivo de melhorar o design e a avaliação dos LLMs para entender melhor suas capacidades.

Ao adotar estratégias best-of-N e explorar mais o alinhamento e o escalonamento, há uma grande oportunidade de melhorar modelos menores e torná-los mais eficientes em várias tarefas. Com esse conhecimento, podemos esperar avanços em como os LLMs compreendem e geram a língua humana, abrindo caminho para melhores aplicações de IA.