Avaliação da Consistência de Modelos de Linguagem em Questões de Valor

Modelos de linguagem grandes (LLMs) são programas de computador feitos pra gerar e entender a linguagem humana. O papel deles tá ficando cada vez mais importante em situações que envolvem crenças e valores pessoais. Mas tem uma discussão rolando sobre se esses modelos dão respostas consistentes quando perguntados sobre temas que envolvem valores. Tem gente que acha que eles mostram viés nas respostas, enquanto outros argumentam que eles são muito inconsistentes pra representar qualquer valor específico.

#Definindo Consistência de Valores

Pra entender se os LLMs conseguem ser consistentes nas respostas sobre valores, precisamos definir o que a gente quer dizer com "consistência de valores". Isso se refere a quão parecidas são as respostas quando a mesma pergunta é feita de diferentes maneiras ou quando perguntas relacionadas são feitas. Analisamos quatro aspectos principais:

1. Paráfrases de uma única pergunta: Quão parecidas são as respostas quando uma pergunta é reformulada?
2. Perguntas relacionadas dentro de um tema: As respostas variam quando fazemos perguntas diferentes sobre o mesmo assunto?
3. Perguntas de múltipla escolha versus perguntas abertas: Como as respostas mudam dependendo do formato da pergunta?
4. Traduções multilíngues: As respostas são consistentes quando a mesma pergunta é traduzida pra diferentes línguas?

#Pesquisando LLMs sobre Consistência de Valores

Pra investigar esses aspectos, usamos vários LLMs grandes e fizemos cerca de 8.000 perguntas em mais de 300 temas em inglês, chinês, alemão e japonês. Nos concentramos tanto em temas polêmicos quanto em não polêmicos pra ver como esses modelos mantêm suas respostas.

Nossos achados mostram que os LLMs são bem consistentes ao responder perguntas reformuladas e perguntas relacionadas dentro do mesmo tema. Eles também são mais consistentes em temas não polêmicos do que em polêmicos. Por exemplo, perguntas sobre "Ação de Graças" trazem respostas mais uniformes do que perguntas sobre "eutanásia."

#Comparando Modelos Básicos e Modelos Ajustados

Analisamos diferentes tipos de modelos. Modelos básicos, que não são treinados especificamente em nenhum tipo de dado, tendem a dar respostas mais consistentes do que modelos ajustados que são adaptados pra tarefas ou áreas específicas. Isso significa que os modelos básicos mantiveram uma abordagem mais uniforme em vários temas, enquanto modelos ajustados mostraram consistências variadas dependendo do assunto.

Por exemplo, modelos ajustados podem dar respostas diferentes ao discutir "eutanásia" em comparação com "direitos das mulheres", bem parecido com o que as pessoas fazem. Curiosamente, os modelos básicos se mantiveram bem estáveis em suas respostas mesmo quando enfrentaram temas desafiadores.

#Comparação com Humanos

Pra ver como os LLMs se comparam com as respostas humanas, a gente também fez uma pesquisa com pessoas reais sobre perguntas similares. No geral, os LLMs mostraram um nível de consistência comparável ao de participantes humanos quando perguntados sobre temas relacionados a valores. No entanto, tanto os LLMs quanto os humanos tendem a mudar suas respostas com mais frequência em tópicos polêmicos como eutanásia e liberdade religiosa. Em contrapartida, áreas como direitos das mulheres e desigualdade de renda tiveram respostas bem mais consistentes de ambos os grupos.

#Avaliando Consistência de Tópicos

Medimos quão consistentes os LLMs são dentro de tópicos específicos. Os modelos foram mais confiáveis ao responder perguntas sobre assuntos menos divisivos. Por exemplo, os modelos mostraram alta concordância ao discutir temas como "inteligência artificial", enquanto eles tiveram dificuldades com assuntos mais polêmicos, como "brutalidade policial."

Pra avaliar a consistência de tópicos, fizemos perguntas relacionadas sobre um assunto específico e calculamos as diferenças nas respostas. Essa abordagem ajudou a entender quanta concordância existe em tópicos sensíveis.

#Consistência de Casos de Uso

Nos nossos achados, descobrimos que os modelos costumam ser menos consistentes quando perguntados perguntas abertas do que quando respondem a perguntas de múltipla escolha. Essa inconsistência pode vir da incerteza inerente nas perguntas abertas, onde os modelos têm mais liberdade pra expressar suas opiniões.

#Direcionabilidade dos Modelos

Uma pergunta importante é se esses modelos podem ser direcionados a responder de acordo com certos valores. Por exemplo, se você pedisse aos modelos pra responder com um valor específico em mente, descobrimos que eles não são facilmente influenciados por sugestões associadas a estruturas de valores comuns. Isso sugere que os modelos não conseguem ser facilmente "direcionados" pra expressar apoio a valores específicos.

#Insights e Implicações

Nosso estudo traz várias percepções sobre como os LLMs lidam com perguntas baseadas em valores. Primeiro, embora eles sejam geralmente consistentes, há exceções notáveis, especialmente em temas polêmicos. Segundo, os modelos básicos tendem a se sair melhor do que os modelos ajustados em manter respostas consistentes em tópicos variados. Por último, os LLMs têm dificuldades com a direcionabilidade, o que significa que eles não se adaptam facilmente suas respostas pra se encaixar em um conjunto de valores predefinidos.

#Conclusão

Resumindo, modelos de linguagem grandes mostram um nível razoável de consistência ao responder perguntas que envolvem valores, frequentemente se saindo comparável a participantes humanos. No entanto, a consistência deles varia dependendo da natureza da pergunta, do tipo de modelo e do contexto em que a pergunta é feita. Entender os pontos fortes e fracos dos LLMs em lidar com esses tópicos é essencial à medida que eles se tornam mais integrados nas discussões sobre valores e crenças humanas.

Trabalhos futuros devem explorar maneiras de melhorar a consistência das respostas dos LLMs, especialmente em áreas polêmicas. Também será importante definir o que significa pra um modelo ter um valor e como garantir que os valores que eles expressam estejam alinhados com os da sociedade. O desenvolvimento contínuo de modelos de linguagem deve considerar esses aspectos pra criar ferramentas que possam apoiar melhor as discussões sobre valores em vários contextos.