As Manias dos Modelos de Linguagem: Erros e Insights

Modelos de linguagem grandes (LLMs) são ferramentas que produzem texto baseado em padrões aprendidos de um monte de dados. Mas o que acontece quando eles erram? Parece que eles podem ser bem loucos nas respostas. Esse artigo mergulha no mundo dos LLMs pra examinar as maneiras estranhas e às vezes engraçadas que eles têm de se enganar.

#Avaliando LLMs

Os LLMs geralmente são testados com perguntas de múltipla escolha. Imagine como um quiz onde os modelos precisam escolher a resposta certa. Quando esses modelos são perguntados a mesma coisa várias vezes, nem sempre acertam. Às vezes, eles espalham os palpites por todas as opções, enquanto outras vezes, parecem ficar presos a uma única resposta errada como se fosse a nova cobertura favorita da pizza.

Imagina perguntar pra um modelo qual a cor do céu. Se ele estiver indo bem, deve escolher "azul". Mas se estiver tendo um dia ruim, pode responder "verde" ou "poá".

#Questionando as Respostas

Pra entender melhor como os LLMs erram, vamos olhar para alguns testes reais usando um conjunto de dados chamado NeoSQuAD. Nesse estudo, pegamos nove perguntas aleatórias desse conjunto e fizemos um modelo, vamos chamar de Modelo A, respondê-las. Fizemos as perguntas 1.200 vezes cada, esperando ver quais respostas ele gostava mais.

Surpreendentemente, algumas perguntas fizeram o Modelo A escolher a mesma resposta errada cerca de 99% das vezes! Se isso fosse uma pessoa, diríamos que ela tá agarrada ao seu jeito. Então, não dá pra culpar todos os erros só por causa de dados ruins; às vezes, os modelos agem de forma estranha mesmo.

#Escolhendo sem Contexto

O que é ainda mais louco? A gente pode pedir pro Modelo A escolher uma resposta sem dar contexto ou pergunta nenhuma. Ele ainda escolhe suas favoritas de forma não aleatória. Algumas perguntas fazem com que ele escolha com confiança, enquanto outras fazem ele mudar de ideia como uma criança em uma loja de doces.

A gente se perguntou se outros modelos se comportavam como o Modelo A. Então, olhamos para sete modelos diferentes respondendo a mesma pergunta. Os resultados mostraram que alguns modelos gostavam da mesma resposta errada tanto quanto o Modelo A. É como um grupo de amigos concordando que um filme terrível é o melhor de todos.

#Fazendo Sentido dos Erros

Ao olhar como os LLMs respondem a testes de múltipla escolha, fica claro que as respostas erradas deles dizem mais do que você imagina. Ao dar uma olhada mais ampla, conseguimos ver padrões de como os modelos são perguntados as perguntas erradas juntos.

Por exemplo, uma grande avaliação chamada MMLU-Pro tem mais de 12.000 perguntas. Ao ver como diferentes modelos erram, podemos medir o quão similares eles realmente são. Você pensaria que modelos diferentes agiriam de forma diferente, mas os dados mostram que eles muitas vezes cometem os mesmos erros. Isso pode levar a uma situação em que juntar modelos não resulta em uma resposta melhor-tipo tentar fazer um projeto em grupo mais inteligente, mas todo mundo acaba confuso.

#Agrupando Modelos

Depois de analisar todas essas respostas, conseguimos agrupar os modelos com base nos erros que cometeram. Alguns modelos se juntaram como uma reunião de família estranha, enquanto outros seguiram caminhos diferentes. Por exemplo, modelos proprietários, aqueles que você tem que pagar, geralmente se comportavam de forma diferente dos que são open-source. É como ver uma diferença entre fast food e um jantar gourmet-ambos enchem, mas um tem charme enquanto o outro é... bem, um pouco gorduroso.

#Erros Universais

Agora vamos falar de algo que chamamos de "erros universais." Essas são perguntas que quase todos os modelos ficam coçando a cabeça. Das perguntas em MMLU-Pro, existem cerca de 160 que todos os 37 modelos erram. Então, perguntamos: será que todos escolhem a mesma resposta errada?

É engraçado porque se você pensar que eles deveriam apenas chutar e espalhar suas respostas, há uma chance de todos caírem na mesma resposta errada-tipo todo mundo em um jogo de trivia respondendo "C" porque acham que é uma letra da sorte.

Mas surpresa! Na verdade, descobrimos que às vezes eles concordam na mesma resposta errada. No entanto, muitas vezes isso acontece porque a pergunta foi mal feita, não porque eles são todos espertos. Como isso é irônico?

#As Considerações Finais sobre os LLMs

Então, o que aprendemos com essa exploração nas mentes dos LLMs? Eles têm um jeito de nos surpreender, às vezes de boas maneiras e outras vezes... bem, digamos que têm dias ruins. Quando os modelos erram, muitas vezes fazem isso em padrões que são mais similares do que esperaríamos.

É quase como se eles tivessem suas próprias quirks e preferências. Se você quer respostas precisas, conhecer esses padrões vai ajudar. Mas se você quer rir, só pergunte a eles qual é a cor do céu!

No fim das contas, os LLMs são mais do que apenas ferramentas para gerar texto. Eles refletem as quirks e falhas dos dados que aprenderam. Seja levando a gente a uma ótima resposta ou a um erro hilário, eles mantêm as coisas interessantes. E lembre-se, da próxima vez que você perguntar algo pro seu modelo, ele pode te surpreender com a resposta-seja ela certa ou totalmente errada.