Modelos de Linguagem e Eficiência na Conversa

Os humanos naturalmente se tornam mais eficientes na Comunicação conforme as conversas avançam. Eles se adaptam e criam formas casuais de se comunicar. Essa ideia já foi muito explorada em jogos onde as pessoas se referem a objetos, mostrando que a linguagem humana faz mais do que expressar o que querem. No entanto, não está claro se grandes Modelos de linguagem que também processam imagens se comportam da mesma forma nas conversas e se podem adaptar sua comunicação para ser mais eficiente.

Para responder a essa pergunta, propomos um método chamado ICCA. Esse sistema automatizado nos permite avaliar como diferentes modelos de linguagem adaptam suas conversas. Testamos vários modelos avançados e descobrimos que, embora eles consigam perceber quando alguém está usando uma linguagem eficiente, muitas vezes não mudam seu próprio estilo de comunicação para se tornarem mais eficientes. Apenas certos modelos, como o GPT-4, mostraram alguma melhoria em eficiência quando estimulados de maneiras específicas. Isso sugere que treinar esses modelos não leva naturalmente a esse comportamento, mesmo que seja comum na linguagem humana.

Os humanos mudam a forma como falam durante as conversas. Por exemplo, se um paciente precisa de um remédio específico, pode começar dizendo: “o remédio para a dor nas costas em um pequeno frasco azul.” Mas depois de alguns dias de cuidado, ele pode simplesmente pedir “meus remédios para as costas.” Essa mudança na eficiência da linguagem vem do desenvolvimento de frases conhecidas que todo mundo entende. Esses padrões foram estudados através de jogos controlados que repetem referências.

Estamos estudando essa habilidade em grandes modelos de linguagem que também processam imagens. Esses modelos são projetados para aprender com grandes quantidades de dados de linguagem humana, onde adaptar a linguagem é uma prática comum. Eles também retêm o histórico de uma conversa em andamento, o que pode ajudá-los a lembrar informações cruciais.

Ao melhorar a eficiência conversacional, podemos permitir interações mais suaves, reduzir o esforço necessário para a comunicação e tornar o compartilhamento de intenções mais preciso. A estrutura ICCA usa dados reais de comunicação humana para conduzir avaliações totalmente automatizadas. Ela segue um formato onde uma pessoa descreve uma imagem, e outra pessoa deve identificá-la a partir de um conjunto de imagens. Essa configuração nos permite observar o comportamento do modelo em contexto, comparando suas mudanças com as observadas nas interações humanas.

Focamos em como o comportamento do modelo muda à medida que as conversas avançam. Medimos diferentes aspectos que mostram como as convenções se formam, como a duração das mensagens, a similaridade entre elas e a precisão na transmissão dos significados.

Em nossos testes, examinamos cinco modelos líderes, incluindo aqueles desenvolvidos pela Hugging Face, OpenAI e outros. Nossos resultados indicam que esses modelos atuais têm dificuldade em desenvolver suas próprias adaptações na linguagem. Embora possam entender quando um humano simplifica sua linguagem, muitas vezes não conseguem replicar essa eficiência sem uma grande orientação. Alguns podem até ter dificuldade em manter a consistência da linguagem ao longo do tempo.

Também analisamos como esses modelos agem como ouvintes. Um modelo se adaptou bem, tornando-se mais preciso à medida que a conversa continuava, enquanto outros melhoraram menos ou apenas em cenários simplificados. Isso mostra que, embora os modelos possam entender passivamente a comunicação eficiente de um humano, eles não mudam seu estilo de linguagem de forma inata.

#Contexto dos Jogos de Referência

Um jogo de referência envolve um falante e um ouvinte interagindo sobre um conjunto compartilhado de imagens. O falante descreve uma imagem específica, e o trabalho do ouvinte é escolhê-la entre o grupo com base nessa descrição. Cada participante vê as imagens em uma ordem diferente, então não podem contar com a posição das imagens para identificar a correta.

Esses jogos são frequentemente usados para estudar e avaliar quão bem os modelos conseguem se comunicar. Os jogos de referência repetidos envolvem várias rodadas dessa Interação, permitindo que os jogadores aprendam e refinem como se comunicam ao longo do tempo. Eles podem desenvolver acordos sobre como se referir aos objetos de forma eficiente, levando a mensagens mais curtas e claras.

Nosso estudo examina se os modelos podem desenvolver habilidades semelhantes. Eles devem ser capazes de adaptar como se comunicam, ganhando eficiência e melhorando sua precisão à medida que as conversas se desenrolam.

#Adaptação nas Conversas

Pesquisas mostram que os humanos trabalham para reduzir o esforço necessário para transmitir suas mensagens enquanto se envolvem em diálogos. As pessoas naturalmente criam convenções linguísticas fáceis de entender, que foram documentadas em vários estudos. Essas adaptações foram observadas em jogos de referência repetidos e em outros cenários de comunicação.

Estudos anteriores analisaram como essas convenções se manifestam, observando sua estabilidade e como se desenvolvem ao longo do tempo. A ideia é que, à medida que os humanos conversam, tendem a usar frases mais curtas e eficazes para transmitir seu significado.

Apesar dessas observações, adaptar modelos durante conversas para melhorar o sucesso da comunicação não é tão amplamente estudado. Alguns trabalhos anteriores tentaram treinar modelos explicitamente para adaptação, mas estamos focando nas capacidades que permitem que modelos aprendam e se adaptem durante o contexto em andamento, sem atualizações externas.

#Nossa Estrutura de Avaliação

A estrutura ICCA aproveita dados de interação entre humanos e permite várias configurações do processo de comunicação. Essa flexibilidade significa que podemos explorar diferentes questões de pesquisa de forma eficaz. Por exemplo, testamos quão bem os modelos gerenciam interações mais longas onde múltiplas imagens estão envolvidas.

A metodologia não requer nova coleta de dados ou sujeitos humanos. Em vez disso, utiliza dados de interação existentes para entender como um humano interagiria com esses modelos. Cada interação consiste em um conjunto de imagens, um índice da imagem-alvo, as palavras do falante, a escolha do ouvinte e feedback com base em sua seleção.

Ao avaliar modelos agindo como falantes e ouvintes, utilizamos métricas que rastreiam diferentes propriedades de adaptação durante a interação. Isso torna nossa abordagem muito mais simples e rápida de aplicar a novos modelos.

#Comportamento do Modelo como Falantes

Nos experimentos com falantes, analisamos quão bem os modelos geraram mensagens ao longo do tempo. Focamos em cinco modelos avançados e personalizamos os dados para mostrar cada contexto referencial apenas no início da interação. Os modelos foram estimulados a produzir linguagem e registramos seu desempenho.

Os resultados indicaram que nenhum dos modelos melhorou naturalmente sua eficiência de comunicação sem instruções específicas sobre como fazê-lo. A maioria tendia a produzir mensagens mais longas nas repetições posteriores ou simplesmente repetia as mesmas mensagens sem se adaptar. Alguns modelos usavam frases mais complexas sem aprender com o feedback do ouvinte, demonstrando uma clara falta de adaptabilidade.

Quando recebiam instruções explícitas, alguns modelos reduziram o comprimento das mensagens, mas não estabilizaram seus padrões de comunicação. Muitas vezes misturavam palavras novas em mensagens mais curtas, o que poderia confundir o ouvinte em vez de criar frases consistentes.

#Desempenho do Modelo como Ouvintes

Nos experimentos com ouvintes, avaliamos como os modelos se saíram ao identificar as imagens referenciadas. Mantivemos a exibição do contexto de referência quase a mesma, mas variamos como as imagens foram apresentadas sequencialmente e avaliamos sua precisão.

Os modelos geralmente mostraram um desempenho ruim em comparação com humanos no início, mas tinham potencial para melhorar ao longo das rodadas porque recebiam feedback. No entanto, à medida que a complexidade da interação crescia com mais imagens, alguns modelos lutavam, reduzindo sua precisão em vez de melhorar.

Ao simplificar o número de imagens mostradas nos prompts, descobrimos que os modelos poderiam ter um desempenho melhor à medida que retinham um contexto mais gerenciável. Isso indica que, embora os modelos possam tirar proveito do histórico de conversa, uma complexidade excessiva pode prejudicar seu desempenho.

#Problemas Observados nas Interações dos Modelos

A partir de nossos estudos, notamos vários desafios que impedem os modelos de se adaptarem efetivamente durante as interações.

1. Tendência a Repetir Mensagens: Alguns modelos dependiam muito de repetir suas mensagens iniciais em vez de se adaptar como os humanos, resultando em uma comunicação menos eficiente.

2. Eficiência Lexical: Os modelos tinham dificuldade em refinar suas mensagens usando convenções estabelecidas. Muitas vezes introduziam palavras novas, o que aumentava a carga cognitiva para o ouvinte, levando à confusão.

3. Gerenciamento de Contextos com Muitas Imagens: À medida que o número de imagens aumentava, o desempenho dos modelos diminuía. Isso pode decorrer das dificuldades em gerenciar as relações entre as pistas visuais e suas referências textuais correspondentes.

4. Potencial para Dependência Excessiva em Associações Textuais: Alguns modelos corriam o risco de ignorar informações visuais em favor de permanecer com associações textuais consistentes, o que pode ser problemático quando as imagens diferem de seus rótulos.

#Conclusão

Os modelos atuais carecem da capacidade de aprimorar seus estilos de comunicação de forma natural, como os humanos fazem. Embora consigam entender a eficiência da linguagem usada por outros, não ajustam sua própria linguagem de forma eficaz sem uma orientação sólida.

Essa pesquisa destaca áreas críticas para melhoria em modelos futuros, para que possam desenvolver capacidades mais semelhantes aos estilos conversacionais humanos. Questões-chave incluem a tendência dos modelos a repetir mensagens, seu manejo de múltiplas imagens e sua adaptação às dinâmicas de conversa que mudam.

Ao abordar esses pontos de pesquisa, podemos trabalhar para desenvolver modelos que não apenas entendam uma linguagem eficiente, mas também possam adaptar e refinar suas próprias estratégias de comunicação para se tornarem mais eficazes nas interações.