As máquinas conseguem resolver analogias como crianças?

Quando você pensa em crianças resolvendo enigmas como "corpo : pés :: mesa : ?", pode se perguntar se máquinas, como grandes modelos de linguagem (LLMs), conseguem fazer o mesmo. As crianças aprendem desde cedo como pegar o que sabem de um exemplo e aplicar em outro. Elas enxergam padrões e conseguem resolver analogias, conectando pontos que às vezes até desafiam os adultos. Estudos recentes sugerem que, embora LLMs consigam enfrentar certos problemas de analogia, eles têm dificuldade em generalizar suas habilidades de resolução de problemas em diferentes contextos tão bem quanto as crianças.

#O que é Raciocínio Analógico?

Raciocínio analógico é quando você usa o que já sabe sobre uma coisa para entender outra situação. Por exemplo, se você sabe que o corpo tem pés, pode deduzir que uma mesa tem pernas. É uma habilidade fundamental que ajuda os humanos a aprender e pensar de forma criativa. Os adultos costumam se sair melhor que as crianças nesses desafios, mas surpreendentemente, os pequenos conseguem resolver analogias simples a partir dos três ou quatro anos. Eles conseguem mudar de um tipo de analogia para outro com bastante facilidade, o que não é algo que os LLMs fazem muito bem, como mostram as pesquisas recentes.

#O Estudo

No nosso estudo, queríamos ver se os LLMs poderiam generalizar suas habilidades de resolução de analogias da mesma forma que crianças e adultos. Pedimos para crianças, adultos e LLMs trabalharem em analogias de letras. Essas analogias são baseadas em listas de símbolos latinos, gregos e até inventados para testar como humanos e máquinas transferem seu conhecimento para novos contextos.

#Analogias de Letras

A tarefa de analogia de letras funciona assim: se você tem "abc" que muda para "abd", para "pqr" o que deveria ser? Mudanças semelhantes precisam ser feitas para resolver o enigma. Esse tipo de tarefa é simples e depende de transformações básicas de letras que os humanos normalmente acertam, já que conseguem identificar e aplicar padrões facilmente.

#Quem Participou?

Tivemos 42 crianças de 7 a 9 anos, 62 adultos, e testamos quatro LLMs diferentes. Todos os participantes receberam o mesmo conjunto de tarefas em três tipos de alfabetos: latino, grego e símbolos.

#Como Todos se Saíram?

#Adultos e Crianças vs. LLMs

Nossas previsões eram de que adultos e crianças lidariam bem com o alfabeto latino, e achávamos que os LLMs acompanhariam os adultos. Embora muitos LLMs tenham se saído bem com o alfabeto latino, eles vacilaram quando se tratou do alfabeto grego, e seu Desempenho caiu significativamente com a lista de símbolos. Isso mostrou uma diferença-chave: enquanto adultos e crianças se adaptaram bem, os LLMs tiveram dificuldade em se adaptar quando as coisas ficaram menos familiares.

#Resultados Gerais

Ao comparar o desempenho nos diferentes alfabetos, tanto crianças quanto adultos mostraram resultados semelhantes, se saindo consistentemente bem. No entanto, os LLMs tiveram um desempenho mais fraco. Ficou claro que a capacidade deles de entender regras e aplicá-las de forma flexível era limitada quando enfrentavam mudanças nos tipos de letras ou símbolos.

#Por que os LLMs não Conseguem Generalizar Como as Crianças?

#As Partes Difíceis

Para entender por que os LLMs acharam difícil generalizar, olhamos de perto as tarefas. Acontece que as regras mais complexas, como reconhecer a ordem das letras, eram as mais difíceis para os LLMs seguirem. Eles se saíram muito melhor com tarefas mais simples, mas tiveram problemas com itens que exigiam uma compreensão mais sutil dos padrões.

#Checagem de Regras

Tentamos uma versão mais simples da tarefa, focando apenas em regras específicas como "a próxima letra" ou "a letra anterior." Os LLMs conseguiram acertar isso em uma lista simples, mas quando voltamos para analogias que exigiam que eles misturassem e combinassem essas regras, eles falharam novamente. Isso sugere que os LLMs se destacam em identificar padrões quando as condições são favoráveis, mas não traduzem essa habilidade bem em tarefas mais abstratas.

#Que Erros Eles Cometeram?

Quando analisamos os erros cometidos por crianças, adultos e LLMs, vimos diferenças claras. As crianças às vezes erravam longe das respostas corretas, enquanto os LLMs tendiam a seguir um padrão mais previsível de respostas erradas. Curiosamente, os LLMs frequentemente se baseavam em uma interpretação "literal" das regras, enquanto os humanos não. Isso mostra que eles aplicam as regras aprendidas de forma rígida, o que pode limitar a flexibilidade.

#Conclusão

Resumindo, enquanto LLMs podem resolver analogias simples de letras, sua capacidade de generalizar em diferentes contextos não é comparável à das crianças. Isso destaca uma limitação em suas habilidades de raciocínio em comparação com os humanos. A capacidade de se adaptar e aplicar conhecimento a novas situações parece ser uma característica exclusivamente humana, indicando que ainda temos um longo caminho pela frente até que as máquinas consigam pensar como nós. Então, na próxima vez que você ver uma criança resolvendo um enigma, lembre-se de que seus cérebros estão fazendo algo que as máquinas ainda estão tentando alcançar!