Avaliação da Competência Cultural em Modelos de Texto para Imagem

Modelos de texto-para-imagem melhoraram muito sua capacidade de criar imagens de alta qualidade a partir de prompts escritos. Ferramentas como Stable Diffusion, Imagen e DALLE-3 estão bombando em áreas como arte digital e educação. Mas o desenvolvimento desses modelos precisa considerar questões sociais e éticas importantes, especialmente como eles representam diferentes culturas ao redor do mundo.

Enquanto as avaliações iniciais desses modelos focavam em quão realistas e precisas eram as imagens, descobertas mais recentes mostram que eles muitas vezes refletem preconceitos sociais. Muitos desses modelos são construídos em ambientes que seguem uma única perspectiva cultural, o que significa que podem falhar em representar com precisão as diversas culturas que tentam retratar. Isso pode levar a estereótipos e a uma falta de representação para vários grupos culturais.

Neste trabalho, queremos explorar dois aspectos principais da competência cultural em modelos de texto-para-imagem: Consciência Cultural e Diversidade Cultural. Consciência cultural significa entender os diferentes elementos e Artefatos que compõem uma cultura. Diversidade cultural olha para quão variadas são as representações das culturas nas imagens geradas por esses modelos.

#O Problema

Apesar dos avanços rápidos, a Avaliação de modelos de texto-para-imagem tem ignorado em grande parte considerações culturais. Quando falamos de cultura aqui, nos referimos às diferenças que existem entre grupos de pessoas com base na geografia, especificamente países.

Para ilustrar isso melhor, podemos ver como esses modelos geram imagens a partir de prompts relacionados à cultura. Por exemplo, um prompt pedindo a imagem de um prato popular da Nigéria pode não captar toda a variedade da culinária nigeriana, produzindo apenas os mesmos poucos pratos repetidamente. Da mesma forma, quando pedimos imagens de marcos famosos, como um templo na Índia, o modelo pode não representar o templo com precisão, levando a uma má representação.

As abordagens atuais de avaliação tendem a priorizar realismo e estética, o que perde as lacunas significativas na representação cultural. Essas lacunas podem levar a estereótipos prejudiciais e simplificar identidades culturais ricas em representações unidimensionais. É crucial abordar essas questões para desenvolver modelos que realmente atendam a um público global diverso.

#Desafios Principais

Um dos principais desafios é a falta de um recurso abrangente que capture uma ampla gama de artefatos culturais para facilitar uma avaliação eficaz. Sem esse recurso, avaliar a consciência cultural em grande escala se torna problemático. Também há uma lacuna significativa na compreensão de como avaliar a diversidade nas imagens geradas.

Métodos existentes muitas vezes falham em medir quão bem esses modelos representam a riqueza da diversidade cultural. Essa falta de ferramentas de avaliação pode dificultar o progresso na criação de modelos de texto-para-imagem mais inclusivos e representativos.

#Nossa Abordagem

Para enfrentar esses desafios, propomos um método estruturado para avaliar a competência cultural em modelos de texto-para-imagem. Nossa abordagem gira em torno da construção de um benchmark chamado CUBE, que significa CUltural BEnchmark para Modelos de Texto-para-Imagens. Esse benchmark tem como objetivo avaliar a competência cultural ao longo de duas dimensões principais: consciência cultural e diversidade cultural.

Para apoiar essa avaliação, criamos um grande conjunto de dados de artefatos culturais usando uma combinação de bases de conhecimento e modelos de linguagem. O conjunto de dados foca em artefatos culturais de oito países diferentes e abrange três conceitos: culinária, marcos e arte. Essa estrutura nos permite examinar quão bem esses modelos podem gerar representações precisas e diversas de artefatos culturais.

CUBE consiste em dois componentes: CUBE-1K, que inclui um conjunto de prompts de alta qualidade para avaliar a consciência cultural, e CUBE-CSpace, um conjunto maior de artefatos culturais que serve como base para avaliar a diversidade cultural.

#Entendendo a Competência Cultural

Competência cultural em modelos de texto-para-imagem se relaciona a quão bem os modelos podem entender e representar os elementos culturais associados a diferentes países. Ordenamos nossa análise em dois aspectos principais:

1. Consciência Cultural: Este aspecto avalia a capacidade do modelo de reconhecer e gerar uma ampla gama de artefatos culturais. Por exemplo, imagens geradas para um prompt sobre a culinária nigeriana devem representar vários pratos, refletindo a diversidade culinária do país.

2. Diversidade Cultural: Este foca na variedade de diferentes artefatos culturais produzidos por um modelo para uma entrada específica. Uma saída culturalmente diversa não apenas representaria inúmeros artefatos, mas também o faria de uma maneira fiel à cultura original.

#Descobertas

Nossas avaliações de modelos de texto-para-imagem revelam deficiências notáveis na consciência cultural entre diferentes países. Isso destaca a necessidade de ferramentas que possam medir e melhorar efetivamente a representação cultural nas saídas dos modelos.

Além disso, introduzimos a diversidade cultural como uma nova métrica de avaliação. Esta métrica ajuda a destacar as lacunas em quão bem os modelos atendem à diversidade da representação cultural, especialmente quando os prompts não são específicos.

Nossas descobertas apontam um espaço significativo para melhorias na forma como esses modelos abordam a diversidade cultural. Os modelos atuais ainda têm um longo caminho a percorrer antes que possam representar efetivamente as culturas ricas e variadas ao redor do mundo.

#Construindo o CUBE

O CUBE é nosso novo benchmark criado para avaliar a competência cultural em modelos de texto-para-imagem. Focamos em países como uma estrutura para identificar conceitos culturais. Os oito países escolhidos representam um conjunto diversificado de contextos culturais.

Para cada país, definimos conceitos culturais específicos. Por exemplo, o conceito de culinária inclui conceitos culturais como "culinária americana" ou "culinária nigeriana." Cada conceito cultural está associado a artefatos tangíveis que refletem sua essência.

Para criar uma estrutura de avaliação abrangente, reunimos artefatos culturais para cada conceito usando um método que combina gráficos de conhecimento e modelos de linguagem. Isso nos permite construir um extenso banco de dados de artefatos que representam a riqueza de cada cultura.

O conjunto de dados CUBE inclui dois componentes principais:

• CUBE-1K: Este conjunto consiste em 1.000 prompts cuidadosamente selecionados usados para avaliar a consciência cultural.
• CUBE-CSpace: Este conjunto maior inclui 300.000 artefatos culturais, que podem ser usados para fundamentação e avaliação da diversidade cultural.

#Avaliando a Consciência Cultural

Para medir a consciência cultural, usamos prompts do conjunto de dados CUBE-1K. Usamos aspectos tradicionais de avaliação, como fidelidade (quão próximo a imagem gerada está do prompt) e realismo (quão realista a imagem gerada parece). Embora existam métricas automatizadas para essas dimensões, elas muitas vezes falham em capturar as nuances da representação cultural.

Para corrigir isso, elaboramos um esquema de anotação humana que avalia a consciência cultural de múltiplas perspectivas. Isso envolve apresentar imagens geradas a avaliadores humanos e perguntar a eles questões relacionadas à relevância cultural, fidelidade e realismo.

Descobrimos que avaliadores humanos podem fornecer insights valiosos que métricas automatizadas não capturam, permitindo-nos captar a natureza sutil da representação cultural nas imagens geradas.

#Avaliando a Diversidade Cultural

Buscamos avaliar a diversidade cultural das saídas geradas por modelos de texto-para-imagem. Ao examinar quão diversificados são os artefatos culturais, focamos em prompts não especificados-aqueles que transmitem conceitos gerais sem orientações específicas.

Nossa abordagem para medir a diversidade cultural envolve mapear cada imagem gerada ao seu artefato cultural mais próximo. Ao criar coleções de nove artefatos culturais diferentes para prompts não especificados, podemos analisar a amplitude da representação cultural demonstrada pelo modelo.

Utilizamos pontuações ponderadas por qualidade para avaliar a eficácia das imagens geradas, levando em consideração tanto a qualidade quanto a diversidade dos artefatos culturais representados. Nossa análise revela um padrão: enquanto os modelos podem gerar imagens que são fiéis e realistas, frequentemente falham em demonstrar uma ampla gama de diversidade cultural.

#Insights e Implicações

Nossa pesquisa destaca a importância da competência cultural no desenvolvimento de modelos de texto-para-imagem. À medida que esses modelos crescem em popularidade e uso, é crucial garantir que possam representar a diversidade de culturas globalmente.

Ao apresentar o benchmark CUBE, fornecemos uma estrutura que pode ajudar a enfrentar as lacunas existentes na representação cultural. Através de nossas avaliações, expomos as deficiências dos modelos atuais e enfatizamos a necessidade de melhorias na consciência e diversidade cultural.

Os insights obtidos a partir de nossa avaliação humana demonstram o potencial para melhorar a competência cultural dos modelos de texto-para-imagem. À medida que avançamos, fomentar uma abordagem mais inclusiva para o desenvolvimento de modelos será essencial para garantir que a cultura de todos seja adequadamente representada.

#Considerações Éticas

Nosso trabalho sublinha a necessidade de abordar a representação cultural com cuidado. As ferramentas automatizadas que usamos para construir nossos conjuntos de dados podem introduzir preconceitos que precisam ser reconhecidos. Assim, é essencial complementar nossas medidas automatizadas com esforços baseados na comunidade que busquem incluir vozes e perspectivas diversas.

Além disso, o processo de avaliação humana tem suas limitações, já que culturas diferentes podem ter padrões variados para quão precisamente um artefato cultural é representado. Reconhecer essas nuances será vital à medida que continuamos a expandir nosso trabalho e o escopo da diversidade cultural dentro dos modelos de texto-para-imagem.

#Conclusão

Resumindo, o CUBE representa um passo inicial importante em direção à avaliação e melhoria da competência cultural em modelos de texto-para-imagem. Nossas descobertas destacam lacunas significativas que ainda precisam ser abordadas. Ao focar na consciência cultural e na diversidade cultural, nosso objetivo é promover o desenvolvimento de modelos de texto-para-imagem que possam servir melhor a um público global.

À medida que avançamos com nossa pesquisa, permanecemos comprometidos em expandir e melhorar as ferramentas necessárias para promover representações mais inclusivas da diversidade cultural. O benchmark CUBE e seus conjuntos de dados subjacentes desempenharão um papel crucial na orientação de futuras pesquisas e desenvolvimentos nessa área.