Examinando os preconceitos em grandes modelos de visão-linguagem

Nos últimos tempos, surgiram novas tecnologias que conseguem lidar com imagens e texto ao mesmo tempo. Esses modelos são chamados de grandes modelos de linguagem-visual (LVLMs). Eles conseguem fazer várias tarefas, como responder a perguntas sobre imagens, criar legendas para fotos e até gerar histórias com base em conteúdo visual. Embora essas tecnologias tenham avançado, tem gente preocupada se elas podem mostrar preconceitos relacionados a gênero e Raça de forma não intencional. Este artigo analisa os possíveis preconceitos presentes nesses modelos e como eles processam imagens de pessoas com base no gênero e na raça percebidos.

Para estudar esses preconceitos, criamos um novo conjunto de dados chamado PAIRS (PArallel Images for eveRyday Scenarios). Esse conjunto de dados inclui imagens geradas por IA mostrando pessoas em contextos e situações similares, diferenciando apenas pelo gênero (homem ou mulher) e pela raça (negro ou branco). Usando essas imagens, podemos observar como os modelos reagem de forma diferente com base nas características percebidas das pessoas retratadas.

Quando a OpenAI revelou o GPT-4, uma das características mais legais era sua capacidade de trabalhar tanto com texto quanto com imagens. No entanto, essa função ainda não estava disponível para o público. Durante esse tempo, outros grupos de pesquisa assumiram o desafio de desenvolver seus próprios modelos de linguagem-visual usando recursos disponíveis de graça. O objetivo era permitir que sistemas de IA analisassem imagens e respondessem a perguntas ou solicitações com precisão. Mas é crucial reconhecer que esses sistemas ainda podem carregar estereótipos prejudiciais quando confrontados com imagens ou solicitações vagas.

As pessoas tendem a fazer julgamentos rápidos e muitas vezes subconscientes sobre os outros com base na aparência, categorizando-os em vários grupos sociais com base em características observáveis. Esses julgamentos podem levar à estereotipação, onde suposições são feitas sobre um indivíduo com base na sua percebida associação em um grupo específico. Esta pesquisa busca investigar se os LVLMs mostram tendências semelhantes ao processar imagens.

Um exemplo comum de preconceito de gênero é a suposição de que mulheres, especialmente em ambientes profissionais, são mais propensas a ocupar papéis subordinados ou de cuidado, em vez de posições de liderança. Por exemplo, uma médica pode ser mal identificada como enfermeira, enquanto uma mulher em uma sala de reuniões pode ser vista como secretária em vez de CEO. Este artigo examina se os LVLMs exibem preconceitos semelhantes quando apresentados com imagens de indivíduos de diferentes Gêneros em ambientes de trabalho.

Também analisamos preconceitos raciais e como eles afetam percepções de status social. Na cultura ocidental, existem estereótipos estabelecidos que ligam raça à pobreza ou criminalidade, resultando em tratamentos diferentes de indivíduos negros e brancos em situações semelhantes. Por exemplo, corredores negros frequentemente expressam a necessidade de tomar precauções extras ao correr para evitar serem confundidos com criminosos. Em nossa pesquisa, apresentamos quatro modelos diferentes com imagens de homens e mulheres negros e brancos, fazendo perguntas para explorar as suposições subjacentes que esses modelos fazem sobre os indivíduos nas imagens.

Para essa análise, desenvolvemos nossas imagens usando uma ferramenta de geração de texto-para-imagem chamada Midjourney. Criamos imagens onde o gênero e a raça dos indivíduos variavam, enquanto o cenário de fundo, como um hospital ou uma sala de reuniões, permanecia o mesmo. Esse arranjo nos permite medir as diferenças nas saídas dos modelos com base nas características demográficas dos sujeitos.

Nossas principais contribuições incluem:

1. A criação do conjunto de dados PAIRS, que consiste em imagens geradas por IA representando o mesmo cenário, mas variando em dois gêneros e tons de pele.
2. Experimentos que mostram a presença de preconceito baseado em gênero nas respostas dos LVLMs a perguntas sobre profissões, assim como preconceito racial nas respostas relacionadas ao status social.
3. Uma análise das diferenças lexicais nas respostas em texto livre geradas pelos modelos, com base em solicitações abertas, revelando como as características percebidas de gênero e raça influenciam o texto gerado.

#Trabalhos Relacionados

Assim como outros conjuntos de dados que contêm apenas texto ou imagens, conjuntos de dados multimodais que incluem ambos os tipos costumam mostrar preconceitos sociais. Esses preconceitos afetam particularmente a representação de grupos marginalizados. Por exemplo, o popular conjunto de dados Microsoft COCO foi criticado por representações desequilibradas, com certos estereótipos refletidos na forma como os anotadores humanos rotulam as imagens.

Vários estudos examinaram diferentes conjuntos de dados para identificar preconceitos e propor métodos para abordá-los. Esses conjuntos de dados geralmente consistem em imagens e descrições textuais que correspondem a associações estereotípicas ou antiestereotípicas. Nosso trabalho segue essa tendência, visando avaliar preconceitos na tecnologia em evolução dos grandes modelos de linguagem-visual.

Nos inspiramos em pesquisas anteriores que usaram pares de imagens mostrando cenários semelhantes, mas com diferenças nos tons de pele. Eles analisaram quaisquer diferenças nas legendas geradas para essas imagens, assumindo que um sistema sem preconceitos produziria legendas muito semelhantes para cada uma. Nossa abordagem expande essa ideia ao gerar imagens que são strikingly alike, focando em gênero e raça como as principais variáveis, enquanto utilizamos LVLMs para abordar uma gama de tarefas de geração.

#O Conjunto de Dados PAIRS

Para descobrir preconceitos sutis nos LVLMs, apresentamos o conjunto de dados PAIRS de imagens mostrando pessoas em situações cotidianas. Cada cenário é projetado para ser um pouco ambíguo, já que os papéis dos sujeitos podem ser interpretados de várias maneiras. Para cada cenário, geramos quatro imagens com uma mulher de pele escura, um homem de pele escura, uma mulher de pele clara e um homem de pele clara.

Os cenários estão organizados em três categorias:

1. Cenários de Ocupação: Essas são situações visualmente ambíguas onde ocupações podem ser ligadas estereotipicamente a qualquer gênero. Por exemplo, uma pessoa usando roupas de hospital poderia ser percebida como enfermeira ou médica. Criamos imagens para 20 pares de ocupações que refletem esses estereótipos.

2. Cenários Neutros: Essas imagens refletem situações da vida cotidiana, como cozinhar ou andar de ônibus. Esses cenários não devem ser influenciados pelo status social do indivíduo.

3. Cenários Potencialmente Relacionados a Crimes: Esses envolvem situações em que as ações de um indivíduo podem ser interpretadas como criminosas ou socialmente aceitáveis. Existem 10 cenários nesse grupo.

No total, o conjunto de dados PAIRS inclui 50 cenários e 200 imagens, todas criadas usando a ferramenta Midjourney entre maio e agosto de 2023. Cada cenário foi gerado com cuidado para garantir que as imagens diferissem apenas em termos de gênero e raça, mantendo todos os outros elementos o mais semelhantes possível. Embora algumas pequenas diferenças possam existir, acreditamos que a capacidade dos LVLMs de manter consistência apesar dessas variações é significativa.

#Questionando LVLMs sobre Preconceitos

Em nosso estudo, avaliamos quatro LVLMs diferentes: LLaVA, mPLUG-Owl, InstructBLIP e miniGPT-4. Esses modelos combinam um codificador visual com um grande modelo de linguagem e foram treinados em vários conjuntos de dados de maneiras diferentes. O comportamento de cada modelo pode diferir com base em como foram treinados e nos dados aos quais foram expostos.

Realizamos uma série de três experimentos para analisar preconceitos nos LVLMs.

#Experimento 1: Preconceito de Gênero em Cenários de Ocupação

No primeiro experimento, testamos os modelos com imagens dos 20 cenários baseados em ocupação. A hipótese era de que imagens de homens estariam ligadas a empregos dominados por homens, enquanto imagens de mulheres seriam mais frequentemente associadas a funções dominadas por mulheres. Solicitamos aos modelos que escolhessem entre duas ocupações. As respostas foram então convertidas em valores numéricos para quantificar os preconceitos dos modelos em relação a ocupações de gênero.

#Experimento 2: Preconceito Racial em Status Social

O segundo experimento focou em examinar a relação entre raça e status social. Perguntamos aos modelos sobre o status social dos indivíduos retratados nas imagens, abrangendo várias perguntas que investigavam diferentes aspectos da posição social. As respostas foram novamente convertidas em valores numéricos, permitindo-nos calcular pontuações de associação para imagens de indivíduos negros e brancos.

#Experimento 3: Preconceito Racial em Cenários Relacionados a Crimes

O terceiro experimento explorou como a raça influencia percepções de criminalidade. Usando os 10 cenários potencialmente relacionados a crimes, pedimos aos modelos que escolhessem entre duas atividades, uma das quais era criminosa e a outra inofensiva. Isso nos permitiu avaliar como os modelos associavam raça a comportamentos criminosos.

Por fim, também investigamos se preconceitos apareceram em tarefas gerativas, como descrições de imagens ou geração de histórias. Solicitamos aos modelos que criassem texto com base nas imagens e analisamos as respostas resultantes em busca de sinais de preconceito.

#Resultados dos Experimentos

#Recusa em Responder

Monitoramos com que frequência os modelos se recusavam a responder perguntas. No geral, os modelos se recusaram a responder menos de 20% das vezes, com diferenças entre os modelos. Alguns modelos estavam mais inclinados a recusar do que outros quando enfrentavam cenários ambíguos.

#Preconceito de Gênero em Ocupações

Os modelos mostraram um claro preconceito em associar imagens de homens a ocupações dominadas por homens e mulheres a funções dominadas por mulheres. A análise estatística confirmou que os quatro modelos favoreciam significativamente ocupações associadas a homens para homens e papéis associados a mulheres para mulheres.

#Preconceito Racial em Status Social

A maioria dos modelos indicou que imagens de indivíduos brancos estavam ligadas a um status social mais alto em comparação com imagens de indivíduos negros. Esse preconceito foi mais pronunciado em alguns modelos do que em outros. Certas imagens provocaram associações mais fortes com baixo status para indivíduos negros, particularmente aquelas que retratavam roupas mais casuais ou contextos relacionados a esportes.

#Preconceito Racial em Cenários Relacionados a Crimes

Curiosamente, os modelos não exibiram diferenças significativas em associar raça à criminalidade na parte quantitativa. No entanto, análise posterior nas tarefas gerativas sugeriu que certos modelos associavam indivíduos negros a linguagem relacionada a crimes, enquanto indivíduos brancos eram tratados de forma diferente.

#Análise de Solicitações Abertas

Para entender melhor os potenciais preconceitos nos modelos, realizamos uma análise qualitativa durante tarefas abertas. Apesar da ausência de preconceito direto nas respostas quantitativas, diferenças sutis na linguagem gerada sobre indivíduos negros muitas vezes incluíam associações negativas com crime e violência. Por exemplo, descrições ligadas a imagens de homens negros destacaram temas de criminalidade, enquanto descrições semelhantes para indivíduos brancos tendiam a ser mais neutras ou positivas.

Além disso, certos padrões surgiram em relação às palavras associadas a cada grupo demográfico. Palavras associadas à luta ou superação de adversidades frequentemente apareciam em descrições relacionadas a indivíduos negros, enquanto indivíduos brancos eram retratados de forma mais positiva.

#Conclusões e Direções Futuras

Nossa investigação sobre os LVLMs revelou que, embora algumas saídas fossem aceitáveis, preconceitos baseados em gênero e raça eram evidentes em várias situações. Os resultados indicam uma necessidade clara de melhores estratégias de redução de preconceitos para garantir a justiça nesses modelos.

Embora tenhamos visto preconceitos significativos nas respostas a perguntas de múltipla escolha, nossas descobertas sobre cenários relacionados a crimes sugerem que há necessidade de uma exploração mais profunda. A interseção de raça e gênero nas percepções sociais é complexa, e nossa compreensão disso deve informar pesquisas futuras.

Seguindo adiante, será essencial refinar o conjunto de dados PAIRS para abranger uma gama mais diversa de características demográficas e situações. Isso ajudará a desenvolver preconceitos de forma mais abrangente e trazer consciência às implicações de como esses modelos operam. Coletivamente, nossas descobertas enfatizam a importância de continuar avaliando tecnologias de IA para mitigar preconceitos e promover equidade.