Adaptando Modelos de Linguagem ao Comportamento Humano

Modelos de linguagem grande são ferramentas avançadas que conseguem fazer várias tarefas, incluindo tradução e matemática. Mas, às vezes, eles não se comportam como humanos. Este artigo analisa se esses modelos de linguagem podem ser mudados para agir de forma mais parecida com como as pessoas pensam e se comportam.

Depois de ajustar esses modelos usando dados de estudos psicológicos, descobrimos que eles podem representar o Comportamento Humano de forma precisa. Em alguns casos, eles se saíram até melhor que modelos cognitivos mais antigos em duas áreas de Tomada de decisão. Também descobrimos que esses modelos podem usar a informação aprendida para prever como pessoas individuais vão agir. Além disso, mostramos que treinar esses modelos em tarefas diferentes permite que eles adivinhem o comportamento humano em tarefas que nunca viram antes. Esses achados sugerem que modelos de linguagem grande podem ser adaptados para criar modelos que consigam entender e prever o comportamento humano, o que pode mudar a pesquisa futura em psicologia e ciências comportamentais.

Modelos de linguagem grande são um tipo de rede neural treinada em grandes quantidades de dados de texto. Eles aprendem a prever a próxima palavra em uma frase. Para nossa surpresa, esses modelos mostram habilidades que não eram esperadas com base em modelos menores. Alguns especialistas acreditam que eles podem até mostrar sinais de inteligência geral. Podemos estar presenciando mudanças significativas na inteligência artificial, e essas mudanças estão influenciando áreas como educação, medicina e trabalho.

Uma característica chave desses modelos é a habilidade de aprender a partir do contexto. Essa habilidade permite que eles realizem várias tarefas, incluindo tradução e raciocínio. Estudos anteriores mostraram que esses modelos poderiam se sair bem em testes psicológicos clássicos. Por exemplo, um modelo chamado GPT-3 teve um desempenho melhor que humanos em uma tarefa de tomada de decisão que exigia encontrar um equilíbrio entre explorar opções conhecidas e explorar novas.

Mas, esses modelos nem sempre imitam o comportamento humano. Por exemplo, na tarefa de tomada de decisão mencionada, o GPT-3 usou principalmente estratégias de exploração, enquanto os humanos combinaram diferentes estratégias de exploração. Além disso, o GPT-3 não melhorou muito após algumas tentativas, enquanto os humanos continuaram aprendendo durante a tarefa.

No nosso estudo, investigamos se poderíamos ajustar modelos de linguagem grande para melhor corresponder ao comportamento humano. Para isso, usamos uma técnica chamada finetuning, onde treinamos o modelo usando dados específicos. Esse método funcionou bem em várias áreas e levou ao surgimento dos "modelos fundamentados", que são grandes modelos que podem se adaptar a diferentes tarefas. Na cognição humana, temos acesso a muitos dados de experimentos psicológicos passados. Usamos esses dados para ajustar nosso modelo de linguagem, visando melhorar sua representação do comportamento humano.

Nossos resultados mostraram que modelos de linguagem ajustados poderiam descrever o comportamento humano de forma mais precisa do que modelos cognitivos tradicionais. Verificamos isso através de simulações de modelo, que demonstraram que esses modelos ajustados exibem características semelhantes às humanas. Além disso, as informações desses modelos podem capturar diferenças entre indivíduos. Por fim, encontramos que um modelo treinado em duas tarefas poderia prever o comportamento humano em uma tarefa completamente nova.

Para começar nossa pesquisa, testamos se poderíamos capturar a tomada de decisão humana ajustando um grande modelo de linguagem chamado LLaMA. Esse modelo tem vários tamanhos, sendo o maior com 65 bilhões de parâmetros, treinado em um vasto conjunto de dados textuais. Focamos nessa versão maior para nossa análise principal. O LLaMA está disponível para pesquisadores, permitindo que extraiamos representações úteis para nossas tarefas cognitivas.

Escolhemos dois cenários de tomada de decisão bem estudados para nossa análise: decisões a partir de descrições e decisões a partir da experiência. No primeiro cenário, os tomadores de decisão escolhem entre duas opções hipotéticas, onde conhecem as probabilidades e resultados. Em contraste, o segundo cenário exige que o tomador de decisão aprenda a partir de interações repetidas com a tarefa, sem informações explícitas.

Criamos um conjunto de dados que combinava escolhas humanas e as incorporações do modelo para ambos os cenários. Para o primeiro cenário, usamos um grande conjunto de dados com muitas escolhas feitas pelos participantes. Para o segundo cenário, usamos dados de uma tarefa com um número menor de participantes fazendo muitas escolhas.

Usando esses conjuntos de dados, ajustamos um modelo de regressão logística para prever as escolhas humanas com base nas incorporações do modelo. Comparando o desempenho do nosso modelo com outros três: um modelo de adivinhação aleatória, o modelo LLaMA original sem ajustes, e um Modelo Cognitivo específico projetado para uma das tarefas de escolha. Descobrimos que o LLaMA não previu o comportamento humano com precisão, enquanto nosso modelo ajustado se saiu melhor que as outras opções.

Em seguida, verificamos se nosso modelo ajustado, CENTaUR, mostrava características similares às humanas. Simulamos como o modelo se sairia usando nossos dados experimentais. Os resultados revelaram que nosso modelo se aproximou muito do desempenho humano em ambos os cenários de tomada de decisão, mostrando que aprendeu estratégias semelhantes.

Examinamos ainda como bem CENTaUR poderia descrever o comportamento de participantes individuais. Essa análise foi possível apenas para o segundo cenário de tomada de decisão, pois o primeiro não forneceu dados em nível individual. O comportamento da maioria dos participantes foi melhor descrito pelo CENTaUR, e usar um método diferente de seleção de modelo também favoreceu nosso modelo.

Até agora, ajustamos o LLaMA como um único modelo para todos os participantes. No entanto, as diferenças individuais podem não ser capturadas completamente por esse método. Para abordar isso, incluímos efeitos aleatórios em nosso modelo para levar em conta as diferenças individuais enquanto mantínhamos o processo de avaliação. Descobrimos que esse ajuste melhorou significativamente o ajuste do modelo aos dados.

Por fim, testamos se o CENTaUR poderia prever o comportamento humano em uma tarefa diferente após ser treinado em várias tarefas. Esse teste é crucial, pois mostra como bem o modelo pode generalizar seu aprendizado. Combinamos dados das duas tarefas anteriores e depois avaliamos quão precisamente o modelo ajustado poderia prever as escolhas humanas em um novo cenário onde os participantes escolhiam entre dois tipos diferentes de opções.

Os resultados indicaram que o ajuste foi geralmente útil para modelar o comportamento humano na nova tarefa. O CENTaUR superou tanto o modelo de adivinhação aleatória quanto o modelo LLaMA original. Também examinamos se as previsões do CENTaUR correspondem a aspectos qualitativos do comportamento humano. Descobrimos que nosso modelo demonstrou preferências semelhantes às humanas que estavam ausentes no LLaMA.

Em conclusão, mostramos que modelos de linguagem grande podem ser ajustados para agir mais como modelos cognitivos por meio de finetuning direcionado. Esse processo levou a modelos com desempenho alto em vários contextos de tomada de decisão. Além disso, esses modelos conseguem capturar diferenças no comportamento entre indivíduos e generalizar para novas tarefas. Nosso trabalho sugere que usar modelos de linguagem grande para estudar comportamento humano abre novas e empolgantes possibilidades.

Estamos apenas começando a entender o que podemos aprender sobre a cognição humana ajustando esses modelos. Embora os achados até agora sejam promissores, eles só arranham a superfície do que pode ser alcançado. Com um modelo preciso do comportamento humano, podemos aplicar várias técnicas para explicar como esses modelos funcionam. Essa abordagem também pode permitir que pesquisadores investiguem aspectos da tomada de decisão que ainda não foram estudados.

Resumindo, modelos de linguagem grande são ferramentas poderosas para estudar o comportamento humano, e nossa pesquisa indica que há muito mais a ser explorado nesse potencial.