Simple Science

Ciência de ponta explicada de forma simples

# Informática# Computadores e sociedade

Representação de castas em geradores de texto pra imagem

Examinando como os T2Is retratam identidades de casta e reforçam estereótipos.

― 8 min ler


Viés de Casta nosViés de Casta nosResultados da IAestereótipos de castas prejudiciais.Modelos de IA podem reforçar
Índice

Geradores de imagem a partir de texto (T2IS) são ferramentas que criam imagens com base em descrições escritas. Eles ficaram super populares e estão sendo usados em várias áreas. Mas, à medida que seu uso aumenta, crescem também as preocupações sobre a justiça e os efeitos que eles têm nas pessoas. A maioria dos estudos sobre esse assunto foca em identidades que são mais comumente vistas em contextos ocidentais ou que são reconhecidas globalmente. Este artigo quer destacar um assunto menos discutido, mas importante: a casta na Índia.

Casta é um sistema que divide as pessoas em diferentes grupos com base em regras sociais e antecedentes familiares, e afeta a vida de muitos indivíduos. Neste debate, vamos analisar como os modelos T2I, especialmente um chamado Stable Diffusion, retratam pessoas de diferentes origens de casta e os papéis profissionais que eles mostram. Ao criar várias imagens para diferentes descrições e analisá-las, revelamos padrões que refletem os preconceitos e estereótipos sociais existentes.

Contexto

O que são T2Is?

T2Is são programas de IA avançados que transformam descrições escritas em imagens. Esses modelos, incluindo o Stable Diffusion, usam grandes conjuntos de dados que consistem em textos e imagens para aprender a gerar visuais adequados. Eles processam os prompts quebrando-os em palavras, associando essas palavras a elementos visuais e criando imagens com base nessas associações.

Entendendo a Casta

A palavra casta vem de um termo que significa "linhagem" e tem uma história muito antiga na Índia. Ela existe há milhares de anos e serve para classificar indivíduos em diferentes grupos. Segundo textos antigos, as pessoas pertencem a Castas específicas com base em seu papel social e herança familiar.

As principais castas reconhecidas nesse sistema incluem:

  • Brahmins: Tradicionalmente sacerdotes e professores
  • Kshatriyas: Guerreiros e governantes
  • Vaishyas: Comerciantes e agricultores
  • Shudras: Trabalhadores e prestadores de serviços
  • Dalits: Anteriormente chamados de "intocáveis", enfrentam Discriminação extrema e exclusão.
  • Adivasis: Os povos indígenas da Índia.

A identidade de casta é atribuída ao nascer e não muda durante a vida da pessoa, afetando muitos aspectos de sua existência, como escolhas de casamento e oportunidades de trabalho.

Discriminação Baseada em Casta Hoje

A discriminação baseada em casta é comparável ao apartheid, pois cria sistemas sociais separados e oferece diferentes direitos e privilégios com base na casta da pessoa. Mesmo hoje, indivíduos de castas mais baixas frequentemente enfrentam desafios e barreiras significativas em suas vidas. Vários movimentos lutaram contra essa forma de opressão, buscando igualdade e proteção de direitos, mas muitos problemas ainda persistem.

Foco da Pesquisa

O objetivo desta pesquisa é examinar como o modelo T2I, Stable Diffusion, representa castas nas imagens que gera. Em particular, estamos interessados em ver se ele reforça estereótipos sobre indivíduos de castas altas e baixas. Vamos analisar as saídas de imagens comparando diferentes identidades de casta e explorar como essas imagens refletem as visões da sociedade.

Através deste estudo, vamos tentar responder questões-chave sobre como a casta é interpretada no contexto dos T2Is e quais implicações isso tem para os indivíduos representados.

Metodologia

Geração de Imagens

Usamos diferentes prompts para gerar imagens com o Stable Diffusion. Pedindo imagens de indivíduos de castas específicas e em certas ocupações, buscamos observar os tipos de imagens produzidas. Cada prompt resultou em 100 imagens para garantir uma ampla variedade de saídas para análise.

Comparação e Análise de Imagens

Utilizamos um método chamado similaridade coseno para avaliar as semelhanças entre as imagens criadas a partir de diferentes prompts. Isso envolve comparar conjuntos de imagens para entender quão próximas elas estão em representação.

Além dessa análise quantitativa, também fizemos uma revisão qualitativa das imagens para avaliar e identificar padrões que surgiram. Essa combinação de métodos nos permitiu analisar as saídas de forma completa.

Resultados

Representação de Castas em T2Is

Quando comparamos as saídas de prompts focados em indivíduos de alta casta com aqueles para indivíduos de baixa casta, encontramos diferenças significativas. Imagens de pessoas de alta casta tendiam a mostrá-las em ambientes urbanos mais ricos, com fundos neutros. Em contraste, imagens de pessoas de baixa casta frequentemente as retratavam em cenários rurais, enfatizando pobreza e trabalhos manuais.

Por exemplo, quando pedimos ao gerador para criar imagens de uma "pessoa da Índia", as saídas se pareciam muito com aquelas de "pessoa de alta casta" ou "pessoa Brahmin". As imagens eram frequentemente polidas e mostravam indivíduos em trajes modernos, envolvidos em atividades profissionais.

Em comparação, prompts relacionados a indivíduos de "baixa casta" geraram imagens que mostravam as pessoas em ambientes agrícolas ou realizando trabalho manual. Havia tendências notáveis, como a prevalência de fundos rurais, que destacavam o estereótipo de que pessoas de baixa casta estão confinadas a estilos de vida empobrecidos.

As discrepâncias mais marcantes foram encontradas nas saídas geradas para indivíduos Dalit, que apresentavam fortemente grupos de pessoas em protestos, em vez de indivíduos. Isso resultou em uma representação que sugere que os Dalits estão intrinsecamente ligados ao ativismo e à luta, ignorando sua individualidade e diversidade.

Padrões de Sem Casta

Um padrão consistente nas saídas foi a tendência de identidades Savarna (alta casta) serem retratadas como "sem casta". Isso significa que as imagens de indivíduos de alta casta frequentemente não refletiam seu histórico de casta, enquanto indivíduos de baixa casta eram retratados com marcadores associados ao seu status social. Isso resulta em uma narrativa que reforça a ideia de que ser de alta casta é sinônimo de mérito e sucesso, enquanto identidades de baixa casta estão ligadas à pobreza.

Implicações dos Resultados

Os resultados destacam questões significativas. Primeiro, as saídas dos T2Is podem perpetuar estereótipos prejudiciais. Ao retratar indivíduos de baixa casta apenas em funções de trabalho, o modelo contribui para preconceitos sociais que marginalizam essas comunidades. Segundo, a representação de indivíduos de alta casta como sem casta ignora a nuance dos sistemas de casta e seu impacto.

Recomendações para Melhorias

Para lidar com essas questões, sugerimos várias formas de melhorar o design e as saídas dos T2Is:

  1. Envolver Comunidades Diversas: Engajar com indivíduos de vários antecedentes de casta para entender suas perspectivas e experiências. Seus insights podem guiar representações mais precisas e evitar estereótipos prejudiciais.

  2. Aprimorar Coleta de Dados: Implementar técnicas de coleta de dados robustas que incluam uma ampla gama de representações e experiências, especialmente de comunidades oprimidas por castas.

  3. Esforços Educacionais: Aumentar a conscientização sobre sistemas de casta, suas implicações e os desafios enfrentados por grupos marginalizados. Educar os usuários sobre os preconceitos que podem existir nas saídas de IA pode promover um engajamento mais consciente com essas tecnologias.

  4. Monitorar Saídas: Avaliar continuamente as saídas dos T2Is em busca de possíveis estereótipos e imprecisões, ajustando os modelos subjacentes conforme necessário para garantir uma representação justa.

  5. Treinamento em Sensibilidade Cultural: Desenvolvedores e pesquisadores devem passar por treinamento para reconhecer os preconceitos presentes em suas ferramentas e as implicações sociais de seu trabalho.

  6. Reconsiderar Medidas de Sucesso: Explorar definições alternativas de sucesso e representação que não dependam de métricas tradicionais, muitas vezes tendenciosas.

  7. Advogar por Mudança Social: Apoiar iniciativas que visem desmantelar o sistema de castas e promover a equidade para comunidades marginalizadas.

Conclusão

A análise da casta nas saídas do T2I revela questões significativas sobre representação e perpetuação de estereótipos. O modelo Stable Diffusion, embora inovador, reflete preconceitos sociais mais amplos que afetam como diferentes grupos são vistos. Se queremos criar ferramentas que promovam justiça e igualdade, devemos avaliar criticamente as saídas geradas e trabalhar ativamente em direção a práticas de design mais inclusivas. Ao fazer isso, podemos avançar para um futuro onde todas as identidades sejam representadas de forma precisa e justa.

Fonte original

Título: Interpretations, Representations, and Stereotypes of Caste within Text-to-Image Generators

Resumo: The surge in the popularity of text-to-image generators (T2Is) has been matched by extensive research into ensuring fairness and equitable outcomes, with a focus on how they impact society. However, such work has typically focused on globally-experienced identities or centered Western contexts. In this paper, we address interpretations, representations, and stereotypes surrounding a tragically underexplored context in T2I research: caste. We examine how the T2I Stable Diffusion displays people of various castes, and what professions they are depicted as performing. Generating 100 images per prompt, we perform CLIP-cosine similarity comparisons with default depictions of an 'Indian person' by Stable Diffusion, and explore patterns of similarity. Our findings reveal how Stable Diffusion outputs perpetuate systems of 'castelessness', equating Indianness with high-castes and depicting caste-oppressed identities with markers of poverty. In particular, we note the stereotyping and representational harm towards the historically-marginalized Dalits, prominently depicted as living in rural areas and always at protests. Our findings underscore a need for a caste-aware approach towards T2I design, and we conclude with design recommendations.

Autores: Sourojit Ghosh

Última atualização: 2024-08-02 00:00:00

Idioma: English

Fonte URL: https://arxiv.org/abs/2408.01590

Fonte PDF: https://arxiv.org/pdf/2408.01590

Licença: https://creativecommons.org/licenses/by/4.0/

Alterações: Este resumo foi elaborado com a assistência da AI e pode conter imprecisões. Para obter informações exactas, consulte os documentos originais ligados aqui.

Obrigado ao arxiv pela utilização da sua interoperabilidade de acesso aberto.

Mais do autor

Artigos semelhantes