Avaliando a Compreensão Emocional da IA

Entender emoções é uma parte chave de como as pessoas interagem umas com as outras. Os humanos conseguem ler facilmente as emoções a partir de diversas situações ou expressões faciais. Eles também podem interpretar situações com base nas emoções. Isso nos leva a questionar o quão bem a IA moderna consegue fazer essas coisas.

Criamos uma forma de testar o quão bem a IA entende emoções através de uma estrutura. Partindo de ideias da psicologia, desenvolvemos 1.280 situações diferentes que ligam avaliações, emoções, expressões faciais e Resultados. Queríamos ver como modelos básicos como GPT-4, Claude-3 e Gemini-1.5-Pro se comparam com as pessoas no entendimento de emoções.

Nossos achados indicam que esses modelos geralmente alinham-se com os pensamentos humanos e, em alguns casos, até se saem melhor do que uma pessoa média. Todos os modelos que testamos mostraram melhora ao usar um método de Raciocínio onde pensam nas respostas passo a passo. Isso sugere que a IA pode ter uma forma de pensar sobre emoções que é semelhante à dos humanos.

#O que é Cognição Afetiva?

Cognição afetiva se refere a entender emoções em relação aos pensamentos e contextos de uma pessoa. Essa capacidade ajuda os humanos a se conectarem melhor com os outros como amigos e parceiros empáticos. Por exemplo, pense na Amy, uma estudante do ensino médio que está se inscrevendo para faculdades. Ela quer ir para uma faculdade pública local, mas seus pais querem que ela vá para uma faculdade particular. Se ela for aceita na faculdade particular e não na pública, pode se sentir decepcionada, mas se for aceita só na pública, ficará feliz.

Um amigo que vê a decepção da Amy poderia inferir pela reação dela que ela queria ir para a faculdade pública. Entender emoções em relação aos pensamentos e situações ajuda as pessoas a obterem percepções mais profundas e promove melhores relacionamentos.

#O Papel da IA nas Emoções

Os desenvolvimentos recentes em IA significam que agora ela desempenha um papel maior em nossas vidas diárias. Portanto, é importante avaliar quão bem a IA entende as emoções humanas. Se assistentes ou companheiros de IA não entenderem as sutilezas dos sentimentos como tristeza ou alegria, a capacidade de se conectar conosco será limitada. Isso levanta uma pergunta importante: os modelos de IA realmente conseguem entender emoções como os humanos?

É essencial notar que entender emoções vai além de apenas reconhecê-las a partir de expressões faciais ou texto. A cognição afetiva exige um entendimento mais complexo de como as emoções se relacionam com os pensamentos e contextos, moldados pelas avaliações que uma pessoa faz sobre as situações. Esse processo de Avaliação é chamado de avaliação (appraisal). Por exemplo, quando a Amy descobre que foi rejeitada pela faculdade pública, os sentimentos dela refletirão não apenas o resultado, mas também a interpretação disso. Se ela acreditar que conseguiria ser aceita numa segunda tentativa, pode não se sentir tão decepcionada.

#Avaliando a Capacidade da IA de Entender Emoções

Apesar de alguns estudos promissores com modelos de IA como o GPT-4 mostrando resultados iniciais na compreensão de emoções, ainda não há um método claro para definir os vários tipos de inferências emocionais ou para avaliá-las sistematicamente. Para preencher essa lacuna, desenvolvemos uma forma estruturada de testar a cognição afetiva na IA e compará-la com as respostas humanas.

Nossa estrutura gera itens projetados para testar a compreensão das emoções usando IA. O processo de geração envolve três etapas:

1. Definir um template causal com base em teorias psicológicas que ilustram como as emoções relacionam-se com resultados e avaliações.
2. Usar modelos de IA para preencher esse template. Por exemplo, começando com um cenário como "Amy é uma estudante do ensino médio se inscrevendo para a faculdade", podemos gerar diferentes avaliações e resultados.
3. Criar estímulos a partir dos templates preenchidos que podem fazer perguntas específicas sobre inferências emocionais.

Esse método nos permite criar vários testes para avaliar quão bem tanto humanos quanto IA conseguem raciocinar sobre emoções.

#Coletando Respostas Humanas

Antes de testar os modelos de IA, precisávamos validar nossos estímulos. Coletamos respostas de 567 pessoas, acumulando cerca de 20 respostas para cada uma das 1.280 perguntas. Os participantes leram os cenários e responderam perguntas que ofereciam respostas de múltipla escolha.

Para medir a concordância entre os participantes, verificamos se as escolhas deles correspondiam à maioria. Descobrimos que a concordância entre os participantes foi alta, superando o que a chance aleatória preveria. Por exemplo, ao serem questionados sobre sentimentos, eles concordaram 91,67% das vezes. Essa alta concordância indica que nossos cenários elicitaram reações humanas coerentes.

Uma vez que estabelecemos a verdade humana, comparamos essas respostas com o que os modelos de IA previram. Focamos em três modelos: Claude-3, GPT-4 e Gemini-1.5-Pro, testando-os sob duas condições: uma abordagem direta e uma abordagem de raciocínio passo a passo.

#Resultados das Avaliações de IA

Quando pedimos aos participantes para inferir emoções a partir dos cenários, notamos que os modelos de IA geralmente corresponderam ou superaram as respostas humanas em termos de pontuações de concordância. Por exemplo, o Claude-3, com raciocínio passo a passo, até superou a concordância humana em alguns testes.

Para tarefas relacionadas à previsão de resultados com base nas emoções, a IA também teve um desempenho significativamente maior que os níveis de chance. O GPT-4 se saiu bem em reconhecer emoções e avaliações, e o Claude-3 o superou em algumas situações ao usar raciocínio estruturado.

Curiosamente, também descobrimos que os modelos se saíram melhor quando os prompts incluíam expressões faciais junto com os cenários. Isso mostra que incorporar dicas adicionais ajuda a IA a fazer julgamentos mais precisos.

#A Importância do Raciocínio na IA

Os achados também implicam que o raciocínio desempenha um papel vital na capacidade da IA de fazer julgamentos emocionais. Quando pedimos à IA para pensar nas respostas passo a passo, isso melhorou significativamente as pontuações de concordância. Isso sugere que, à medida que a IA desenvolve melhores habilidades de raciocínio, pode aprimorar sua capacidade de interpretar emoções com precisão.

Nossos resultados mostram que esses modelos básicos são, de fato, capazes de integrar informações de vários aspectos, como emoções, resultados e expressões faciais, para entender melhor as situações.

#Implicações para o Futuro do Desenvolvimento da IA

À medida que a IA continua a evoluir, definir aspectos-chave da inteligência e criar testes eficazes para eles se torna cada vez mais importante. Nossa pesquisa mostra que, ao fundamentar os testes na teoria psicológica, podemos avaliar quão bem a IA entende emoções.

Ainda estamos apenas arranhando a superfície, testando uma gama limitada de avaliações e cenários. No entanto, a estrutura que estabelecemos pode se adaptar para analisar uma gama mais ampla de avaliações emocionais em vários contextos sociais. Mais pesquisas são necessárias para determinar quão robustos esses modelos são na compreensão das emoções.

Nossos achados também abrem várias questões sobre o raciocínio emocional na IA: Como os pensamentos emocionais são representados na estrutura da IA? Quais dados são necessários para ajudar a IA a desenvolver habilidades de raciocínio emocional?

Este trabalho sugere um futuro onde sistemas de IA podem entender as emoções e estados mentais humanos melhor do que as próprias pessoas. Essas capacidades poderiam levar a novas maneiras de fornecer suporte ou intervenção em saúde mental.

No entanto, é crucial reconhecer os riscos associados ao uso da IA dessa forma. Se mal utilizadas, esses sistemas poderiam manipular ou enganar as pessoas. Portanto, discussões contínuas sobre as implicações éticas da computação emocional são vitais à medida que esses modelos avançam.

Em conclusão, nosso estudo apresenta uma maneira metódica de avaliar quão bem os sistemas de IA entendem emoções. Os resultados mostram uma forte correlação entre os julgamentos humanos e as respostas da IA, abrindo caminho para futuros avanços em interações que exigem compreensão emocional.