O Impacto do Alinhamento de Modelos na Representação Global

Antes de usar Modelos de Linguagem Grande (LLMs) em aplicativos que os usuários veem, os desenvolvedores ajustam esses modelos pra que eles se encaixem melhor nas preferências dos usuários. Esse ajuste envolve métodos como Aprendizagem por Reforço a Partir do Feedback Humano (RLHF) e Otimização Direta de Preferências (DPO). A maioria dos estudos atuais que analisam esses métodos se concentra em quão bem os modelos seguem instruções, raciocinam e fornecem informações verdadeiras. No entanto, as preferências podem variar bastante entre as pessoas, e alinhar os modelos a certas preferências pode trazer alguns problemas inesperados.

Esse artigo analisa como o Alinhamento dos LLMs afeta seu desempenho em três áreas importantes de representação global: diferentes dialetos do inglês, a capacidade de usar múltiplas línguas e Opiniões de vários países ao redor do mundo. Os achados sugerem que os métodos de alinhamento atuais podem criar preconceitos em relação a certos dialetos do inglês e opiniões.

Recentemente, assistentes de chat baseados em LLMs se tornaram super populares. Em dezembro de 2023, o ChatGPT tinha mais de 100 milhões de usuários semanais, e outro modelo, o Llama-Chat-7B, foi baixado quase um milhão de vezes a cada mês. O sucesso desses modelos de chat depende muito do processo de alinhamento, que transforma um modelo básico em um que segue instruções melhor, atendendo aos interesses dos usuários de maneira mais eficaz.

Os desenvolvedores têm um controle considerável sobre as variáveis de alinhamento, o que levanta questões importantes. Quem está fornecendo feedback? Que tipos de solicitações ou tarefas são relevantes? Quem está dando respostas de exemplo? Essas perguntas destacam um problema maior: quais usuários estamos alinhando os LLMs, e, mais importante, quais preferências poderíamos estar ignorando? Essa falta de clareza nas práticas de alinhamento atuais dificulta a distinção entre quais comportamentos do modelo são escolhas intencionais e quais podem ser preconceitos não intencionais.

Por exemplo, um Modelo de Recompensa dá notas mais altas a respostas que parecem vir de países ocidentais de língua inglesa, enquanto notas mais baixas são dadas a respostas relacionadas a países do Oriente Médio e da África. Este artigo faz uma análise detalhada de como as decisões de design no alinhamento afetam a capacidade de um modelo de atender a um público global. Essa compreensão é crucial para determinar se o uso geral de LLMs alinhados será aceito mundialmente.

A maioria das avaliações de desempenho de assistentes de chat foca em raciocínio, conhecimento, multitarefa, veracidade e outras habilidades semelhantes. Em contraste, este estudo analisa um conjunto de áreas comuns para uma base de usuários global diversa: diferentes dialetos do inglês, uso de múltiplas línguas e opiniões globais. O objetivo é ver como o alinhamento afeta o desempenho do modelo nessas áreas.

A avaliação de desempenho visa medir como o alinhamento muda a forma como os LLMs interagem com vários grupos de usuários potenciais ao redor do mundo. Enquanto outros já olharam como as opiniões globais são representadas em modelos de linguagem, seu foco estava principalmente na versão final do modelo. Neste trabalho, examinamos todo o processo de transformar um modelo de linguagem básico em um modelo que engaje os usuários, focando em duas etapas principais: ajuste fino supervisionado (SFT) e ajuste de preferências (PT). Os efeitos do alinhamento resultam da combinação do modelo base e dessas duas fases de ajuste.

Além de avaliar as respostas de pesquisas, essa pesquisa também examina lacunas no desempenho em várias tarefas que aparecem ao longo do processo de alinhamento. Juntas, essas avaliações ajudam a determinar se os procedimentos de alinhamento tornam os LLMs mais agradáveis e úteis para um público global.

#Representação Global: Dialetos do Inglês

A primeira área que exploramos é como o alinhamento dos modelos afeta diferentes dialetos do inglês. Avaliamos o desempenho do modelo em prever a intenção da conversa para três grupos de falantes de inglês: pessoas dos EUA, da Índia e da Nigéria.

Usamos um conjunto de dados chamado Multi-dialect Dataset of Dialogues (MD3), que inclui conversas orientadas para tarefas de falantes de diferentes dialetos do inglês. Nessas conversas, uma pessoa dá dicas pra ajudar a outra a adivinhar uma palavra "secreta" ou "intenção" sem usar certas palavras de distração. Consideramos apenas casos onde o palpite está correto, filtrando conversas onde os participantes não conseguem adivinhar a palavra.

Os resultados mostram que procedimentos de alinhamento eficazes melhoram o desempenho do modelo em conversas entre falantes desses três dialetos. No entanto, enquanto o desempenho aumenta para o inglês dos EUA, a disparidade entre os dialetos também cresce. Antes do alinhamento, a diferença de desempenho entre os dialetos era em torno de 1%, mas depois do alinhamento, pode aumentar para mais de 17%.

Essa descoberta sugere que, mesmo que o alinhamento possa melhorar as capacidades de um modelo, ele também corre o risco de aumentar as disparidades em como diferentes dialetos são compreendidos.

#Representação Global: Línguas

Também analisamos como o alinhamento afeta a capacidade de um modelo de lidar com múltiplas línguas. Muitos modelos se concentram principalmente no inglês, mas durante o processo de alinhamento, o desempenho multilíngue pode melhorar significativamente em várias tarefas linguísticas.

Usando o conjunto de dados de Perguntas e Respostas Diversificadas Tipologicamente (TyDiQA), avaliamos a capacidade de modelos alinhados em nove línguas diferentes. Esse conjunto de dados inclui perguntas e trechos variados escritos em línguas que vão do árabe ao telugu. Nossos achados indicam que muitos modelos mostram melhorias claras de desempenho após o alinhamento, especialmente em tarefas que exigem que eles extraiam respostas específicas de trechos.

Curiosamente, mesmo que o objetivo possa ser criar modelos que funcionem principalmente em inglês, percebemos que os dados usados no processo de ajuste fino muitas vezes têm uma mistura surpreendentemente boa de outras línguas. Isso sugere que até mesmo uma pequena quantidade de dados Multilíngues pode levar a melhorias notáveis na forma como os modelos se saem em diferentes línguas.

#Representação Global: Opiniões

O último aspecto da representação global que avaliamos é quão bem os LLMs refletem as opiniões de vários países. Usamos um conjunto de dados chamado GlobalOpinionsQA, que inclui inúmeras perguntas e respostas de pesquisas sobre questões globais cobrindo uma ampla gama de tópicos, como política, mídia e tecnologia.

Ao comparar as respostas dos modelos de linguagem com as respostas médias de diferentes países, conseguimos ver quais modelos tendem a alinhar-se mais de perto com países específicos - especialmente os Estados Unidos. Descobrimos que existe uma tendência onde os modelos alinhados mostram uma maior inclinação para concordar com opiniões americanas em comparação com aquelas de outras regiões como Jordânia, China ou Nigéria.

Os resultados demonstram um claro preconceito em relação às opiniões dos EUA, o que levanta questões éticas importantes. Embora o alinhamento possa ajudar a melhorar o desempenho do modelo, ele também pode levar involuntariamente à falta de representação para países não ocidentais.

#Insights do Modelo de Recompensa

Para aprofundar ainda mais a opinião do modelo sobre vários países, examinamos o Modelo de Recompensa Starling 7B. Ao questionar esse modelo com um conjunto de perguntas específicas sobre países, conseguimos ver como ele classifica diferentes nações com base nas percepções dos usuários.

Os achados indicam uma forte correlação entre as preferências do modelo Starling e as opiniões dos cidadãos americanos. Ao comparar as classificações do modelo com os achados de pesquisas nos EUA, vemos um alto nível de concordância. Isso sugere que as preferências ocidentais influenciam significativamente o comportamento do modelo.

Curiosamente, quando olhamos de perto para configurações fora da distribuição, parece que os modelos de recompensa não têm muito impacto em quão bem os modelos se alinham com opiniões sobre tópicos menos familiares. Isso significa que, embora o modelo de recompensa possa oferecer insights sobre preferências, ele não molda necessariamente como o modelo de linguagem vê países ou questões fora dos dados de treinamento.

#Discussão e Recomendações

Com base nesses achados, propomos várias recomendações importantes para quem está envolvido no alinhamento de LLMs.

#Transparência nos Processos de Alinhamento

O processo de alinhamento para modelos de linguagem não pode ser tratado como uma solução única para todos. Diferentes grupos serão impactados de maneiras diversas, e a transparência nas decisões feitas durante o alinhamento é essencial. É importante divulgar detalhes sobre quem fornece feedback, quais solicitações são usadas e como as respostas são avaliadas. Isso ajudará a garantir que os ajustes feitos nos modelos sejam responsáveis e inclusivos, especialmente para bases de usuários diversas.

#Pequenas Quantidades de Dados Multilíngues Podem Ser Benéficas

Curiosamente, até mesmo uma pequena porcentagem de dados multilíngues pode levar a melhorias significativas no desempenho do modelo em várias línguas. Por exemplo, o conjunto de dados do Tülu, que é cerca de 13% não-inglês, leva a um melhor desempenho em seis das nove línguas testadas. Isso mostra que ter uma variedade de línguas representadas pode aumentar as capacidades gerais de um modelo sem sacrificar o desempenho em inglês.

#Modelos de Recompensa Não Devem Ser Usados Exclusivamente

Por último, embora os modelos de recompensa forneçam insights úteis sobre preferências, é crucial reconhecer suas limitações. Ao examinar opiniões sobre países, esses modelos nem sempre influenciam os modelos de linguagem subjacentes de uma maneira significativa. Isso sugere que a escolha dos dados de treinamento originais e os tipos de tarefas apresentadas durante o processo de ajuste fino têm um impacto muito maior no comportamento do modelo do que os próprios modelos de recompensa.

#Conclusão

Essa análise destaca três áreas principais onde o alinhamento dos LLMs afeta a representação global: dialetos do inglês, multilinguismo e opiniões globais. Várias escolhas de design feitas durante o processo de alinhamento podem levar a consequências não intencionais, como aumento do preconceito em relação a certos dialetos do inglês e falta de representação para perspectivas não ocidentais.

Ao considerar cuidadosamente esses fatores e implementar as recomendações discutidas, os desenvolvedores podem trabalhar para criar modelos de linguagem mais equitativos e representativos que atendam a um público global diversificado. À medida que essas tecnologias continuam a evoluir, é importante manter o foco na transparência, inclusividade e nos potenciais impactos dos processos de alinhamento nos usuários ao redor do mundo.