Viés Cultural em Modelos de Visão-Linguagem

Modelos de inteligência artificial (IA) que analisam imagens e entendem textos, conhecidos como modelos de visão-linguagem (VLMs), são feitos para responder perguntas sobre imagens em diferentes idiomas. Mas esses modelos podem ser influenciados pela cultura dos dados com os quais foram treinados. Pesquisas mostram que pessoas de diferentes Culturas interpretam imagens de maneiras distintas. Por exemplo, pessoas de culturas ocidentais costumam focar no assunto principal de uma foto, enquanto as de culturas orientais tendem a prestar mais atenção no fundo e no contexto.

Esse artigo investiga como os VLMs muitas vezes refletem um Viés cultural ocidental ao processar imagens. Avaliamos o quão bem esses modelos se saem em várias tarefas visuais usando imagens e textos de diferentes culturas. Nossas descobertas revelam que os VLMs geralmente se saem melhor com imagens e textos ocidentais em comparação com os de culturas orientais.

Uma das principais conclusões da nossa pesquisa é que a língua usada no Treinamento desses modelos de IA desempenha um papel importante em como eles entendem as imagens. Fizemos experimentos com diferentes combinações de idiomas durante a fase de treinamento e vimos que uma maior variedade de idiomas leva a um desempenho mais justo entre diferentes culturas. Embora esses modelos consigam gerar respostas em muitos idiomas, eles ainda refletem os pontos de vista da cultura dominante que está presente nos dados de treinamento.

#Por que o Viés Cultural é Importante

O viés cultural nos VLMs levanta questões críticas sobre a quem esses modelos servem. Apesar de conseguirem entender várias Línguas, muitos VLMs de ponta parecem priorizar imagens e Perspectivas ocidentais. Uma abordagem de treinamento mais equilibrada, que inclua um conjunto diversificado de idiomas e contextos culturais, poderia levar a modelos que melhor representam diferentes visões de mundo.

O crítico de arte John Berger destacou que nossas percepções são moldadas pelo nosso conhecimento e crenças, que, por sua vez, são influenciados por nossos contextos culturais. Pesquisas em ciência cognitiva apoiam essa ideia, mostrando que a cultura impacta significativamente como as pessoas percebem cores, categorizam objetos e focam a atenção em imagens.

Embora estudos anteriores tenham apontado o foco ocidental em conhecimento e valores dentro dos modelos de linguagem, os modelos de imagem-linguagem permanecem menos explorados nesse contexto. Nosso estudo tem como objetivo responder a duas perguntas essenciais: Qual perspectiva cultural os VLMs representam e quais fatores determinam essa perspectiva?

#Como os VLMs Funcionam

Desenvolvimentos recentes em IA levaram à criação dos VLMs, que combinam codificadores de imagem pré-treinados com grandes modelos de linguagem (LLMs). Esses VLMs aproveitam o conhecimento em seus LLMs para realizar uma ampla gama de tarefas de reconhecimento de imagem de forma integrada. Embora consigam responder em diferentes idiomas, é crucial que reflitam com precisão as nuances culturais associadas a esses idiomas.

Pesquisas anteriores indicaram que alguns VLMs têm dificuldade com imagens não ocidentais devido ao treinamento predominantemente em conteúdos ocidentais. Nosso trabalho amplia essa investigação para tarefas subjetivas, focando no papel da distribuição de idiomas nos dados de treinamento e nas solicitações usadas para interagir com os modelos.

Nosso foco estava em duas questões principais na nossa pesquisa:

1. Os VLMs líderes se saem melhor com imagens e rótulos ocidentais em comparação com os orientais?
2. Como a língua usada nas solicitações impacta essa performance?

Avalíamos os VLMs em várias tarefas, incluindo identificação de objetos, respostas a perguntas e classificação de emoções na arte.

#Principais Descobertas

Nas nossas avaliações, observamos consistentemente um viés ocidental em quase todos os VLMs em todas as tarefas examinadas. Enquanto as solicitações em chinês mostraram alguma redução nesse viés, isso não foi uniforme em todos os modelos.

Para investigar melhor o papel da língua na formação do viés, treinamos várias versões de VLMs, focando em como diferentes abordagens de treinamento podem impactar o desempenho. Por exemplo, combinamos CLIP com variantes ajustadas de Llama2 e Baichuan2, que foram pré-treinadas em grandes quantidades de texto em inglês e inglês/chinês, respectivamente. Descobrimos que uma mistura mais equilibrada de idiomas durante o treinamento ajudava a reduzir o viés em tarefas envolvendo imagens, melhorando a capacidade dos modelos de lidar com conteúdos culturalmente ricos.

Curiosamente, enquanto as solicitações em chinês ajudaram a reduzir o viés, os resultados foram significativamente melhores quando o chinês estava bem representado durante o treinamento. Isso foi particularmente evidente em tarefas subjetivas, onde as reduções de viés foram marcantes e notáveis até mesmo em tarefas objetivas, como identificar objetos.

#Representação Cultural na IA

As descobertas da nossa pesquisa têm implicações importantes para o desenvolvimento de VLMs. Quando solicitados em uma língua associada a uma cultura específica, os modelos demonstram melhor desempenho ao acessar associações culturalmente relevantes. No entanto, essa eficácia aumenta quando essa língua foi representada com mais frequência nos dados de treinamento.

Modelos de IA correm o risco de perpetuar desequilíbrios culturais existentes na tecnologia. Nossas descobertas indicam que o viés ocidental no desempenho tende a piorar à medida que os modelos crescem em escala, enfatizando a necessidade urgente de desenvolver modelos que reflitam uma paisagem cultural mais abrangente e variada.

#Analisando o Viés

Nossa abordagem consistiu em dois passos significativos. Primeiro, medimos o viés ocidental presente em vários VLMs comparando seu desempenho em tarefas culturalmente diversas. Em segundo lugar, treinamos VLMs multilíngues, examinando como diferentes fatores, como mix de idiomas no treinamento e a língua da solicitação, influenciaram seu desempenho.

Focamos em tarefas que variavam na representação cultural e exigiam diferentes formas de entendimento de imagem. As tarefas incluíam:

• Identificação de Objetos: Usando objetos do dia a dia de um conjunto de dados diversificado e avaliando quão bem os VLMs reconheceram esses itens.
• Resposta a Perguntas Visuais: Usando perguntas que requerem entendimento tanto da imagem quanto do contexto cultural.
• Classificação de Emoções Artísticas: Analisando como diferentes culturas percebem emoções expressas em obras de arte.

Cada tarefa apresentava imagens e anotações de culturas ocidentais e orientais, permitindo que avaliássemos o viés de forma eficaz.

Nas nossas avaliações, descobrimos que quase todos os VLMs exibiam um viés ocidental, mostrando uma lacuna em sua capacidade de entender contextos culturais orientais. Embora alguns modelos tivessem menos viés quando solicitados em chinês, isso não foi universalmente aplicável.

#Investigando Fatores de Impacto

Para investigar o impacto de vários fatores sobre o viés, exploramos três aspectos importantes do nosso treinamento de modelo:

1. Mix de Idiomas Durante o Pré-treinamento: A composição de idiomas nos dados de treinamento influi em quão bem os modelos podem se sair em diferentes contextos culturais.

2. Língua da Solicitação: A língua usada para interagir com o modelo pode moldar suas respostas, especialmente se essa língua se alinhar ao contexto cultural da tarefa.

3. Mix de Línguas de Fusão: O equilíbrio de idiomas usados durante o treinamento de pares de imagem e texto também pode desempenhar um papel crítico na formação do viés.

Nossa pesquisa mostrou que treinar modelos com um mix de idiomas mais equilibrado reduziu significativamente o viés na interpretação de imagens. Em tarefas objetivas, modelos treinados com uma mistura de inglês e chinês se saíram melhor quando solicitados a interpretar imagens culturalmente diversas.

Embora a solicitação na língua da cultura-alvo possa reduzir o viés, é muito mais eficaz quando o modelo foi treinado com essa língua como uma parte significativa dos seus dados. Os resultados destacaram que modelos treinados em dados multilíngues geralmente exibem menos viés em comparação com aqueles focados principalmente em uma língua.

#Especificidade Cultural na Compreensão de Imagens

Nossas descobertas também enfatizaram a necessidade de conhecimento cultural específico em modelos de IA. A associação que diferentes culturas têm com vários conceitos importa na compreensão de imagens. Nosso estudo indicou que VLMs treinados principalmente com dados ocidentais podem não refletir as nuances das perspectivas orientais, limitando assim sua eficácia ao lidar com conteúdos visuais diversos.

Em tarefas que envolviam interpretação subjetiva, como classificar emoções em obras de arte, vimos que VLMs treinados com uma mistura de idiomas mais diversificada geralmente forneciam melhores percepções sobre perspectivas não ocidentais. Isso sugere que os métodos de treinamento devem levar em conta a diversidade cultural desde o início e não devem ser apenas um pensamento posterior para fechar lacunas de equidade.

#Recomendações para Desenvolvimento Futuro

Com base em nossas descobertas, propomos várias recomendações para desenvolver VLMs que possam se envolver efetivamente com contextos culturais diversos:

1. Investir em Dados de Treinamento Multilíngues: Devem ser feitos esforços para reunir e curar um conjunto de recursos de treinamento mais variado que inclua múltiplos idiomas e perspectivas culturais.

2. Incorporar Expertise Cultural: Especialistas de várias origens culturais devem ser envolvidos nos processos de treinamento e avaliação para garantir que os modelos reflitam uma verdadeira representação de diversos pontos de vista.

3. Priorizar um Mix de Linguagens Equilibrado: Os desenvolvedores devem focar em criar modelos de linguagem que priorizem uma distribuição equilibrada de idiomas durante o pré-treinamento para ajudar a combater os viéses culturais.

4. Avaliar usando Tarefas Diversas: Testar VLMs em uma gama de tarefas representativas culturalmente pode ajudar a expor viéses e melhorar sua capacidade de interagir de forma significativa com diferentes contextos culturais.

5. Encaminhar Colaboração entre Culturas: Facilitar a colaboração entre pesquisadores e profissionais de várias origens culturais pode levar a modelos de IA mais robustos, capazes de entender e gerar conteúdos culturalmente apropriados.

#Conclusão

Nossa pesquisa contribui para um campo crescente que investiga como modelos de IA interagem com contextos culturais. O viés ocidental observado nos VLMs levanta questões críticas sobre equidade e representação na tecnologia. Destaca a necessidade de modelos que sejam treinados de uma maneira que respeite e reflita a rica diversidade da experiência humana.

Ao entender e abordar os viéses culturais inerentes à IA, podemos trabalhar para desenvolver modelos que não apenas interpretem imagens com precisão, mas também apreciem e se envolvam com o significado cultural por trás dessas imagens. Essa é uma jornada em andamento no campo da inteligência artificial-uma que requer reflexão e ação contínuas para garantir um futuro mais equitativo na tecnologia.