Abordando estereotipos en modelos de texto a imagen

Los modelos de texto a imagen (T2I) pueden crear Imágenes basadas en descripciones escritas. Recientemente, se ha notado que estos modelos a menudo repiten Estereotipos sociales que se ven en el mundo real. Sin embargo, muchos estudios actuales no consideran una amplia gama de Identidades globales y sus estereotipos relacionados. Este artículo presenta un conjunto de datos llamado ViSAGe (Estereotipos Visuales Alrededor del Mundo). Este conjunto de datos ayuda a evaluar estereotipos basados en la nacionalidad usando 135 identidades nacionales diferentes.

#La Importancia de Evaluar Estereotipos

Hay una necesidad de evaluar cuidadosamente los estereotipos en los modelos T2I. Los sistemas existentes a menudo pasan por alto grupos de identidad global. Algunas investigaciones han examinado estereotipos en contextos occidentales, concentrándose principalmente en EE. UU. En contraste, el uso de estos modelos se está volviendo global, así que es crucial crear evaluaciones que sean inclusivas de diferentes identidades.

#Conjunto de Datos ViSAGe

El conjunto de datos ViSAGe busca llenar este vacío. Mejora los conjuntos de datos anteriores al señalar qué estereotipos pueden representarse visualmente en imágenes y cuáles no. Por ejemplo, se pueden hacer imágenes claras de Atributos como "sombrero", mientras que ideas abstractas como "atractivo" son más difíciles de representar visualmente. Al mirar en este conjunto de datos, analizamos cómo los modelos T2I reflejan estereotipos regionales a través de varias evaluaciones.

#Análisis de Modelos T2I

Encontramos que los atributos relacionados con estereotipos aparecen mucho más a menudo en las imágenes generadas por modelos T2I en comparación con otros atributos. En particular, las imágenes vinculadas a identidades de África, América del Sur y el Sudeste Asiático muestran un nivel más alto de contenido ofensivo. Esta exploración muestra una tendencia de estos modelos a crear imágenes que se inclinan hacia estereotipos bien conocidos, incluso cuando se les pide que creen contenido neutral o diverso.

#Metodología

Para evaluar las salidas de los modelos T2I por estereotipos, primero creamos una lista de 385 atributos. Este proceso implicó analizar más de 2000 atributos únicos en un conjunto de datos anterior. Se reclutaron anotadores humanos para determinar cuáles de estos atributos podrían representarse visualmente. Los anotadores usaron una escala de Likert para calificar su confianza en identificar los estereotipos en función de su naturaleza visual.

#Proceso de Anotación Humana

Los anotadores recibieron una lista de atributos y tenían que determinar si cada uno podía representarse en una imagen. Calificaron su nivel de acuerdo en una escala que iba desde "totalmente de acuerdo" hasta "totalmente en desacuerdo". Su objetivo era identificar qué atributos se podían mostrar fácilmente en imágenes y cuáles no.

Después de un análisis exhaustivo, solo mantuvimos aquellos atributos en los que todos los anotadores coincidieron en que podían representarse visualmente. Esta selección llevó a una lista final de 385 atributos, que pueden ayudarnos a entender cómo aparecen los estereotipos en las imágenes generadas.

#Anotación de Imágenes

A continuación, se evaluaron las imágenes generadas. Para cada grupo de identidad, se creó un conjunto de imágenes usando mensajes basados en los atributos identificados. Estas imágenes se mostraron a los anotadores, que buscaron la presencia de atributos tanto estereotipados como aleatorios en cada imagen.

Los anotadores no solo seleccionaron atributos que creían que estaban presentes, sino que también marcaron áreas específicas en las imágenes que apoyaban sus elecciones. En total, procesamos alrededor de 40,000 pares de imagen-atributo a través de múltiples grupos de identidad.

#Estereotipos en Imágenes Generadas

A través de este proceso de evaluación, buscamos responder algunas preguntas clave:

• ¿Las imágenes creadas por modelos T2I reflejan estereotipos conocidos?
• ¿Se representan ciertos grupos de identidad de manera más estereotipada que otros?
• ¿Qué tan ofensivas son las representaciones para varios grupos de identidad?

#Reflexión de Estereotipos Conocidos

Basándonos en la evaluación, encontramos que muchas imágenes generadas sí reflejaban estereotipos comúnmente reconocidos. Por ejemplo, ciertos atributos estaban vinculados de manera constante a grupos de identidad específicos. Esta conexión se verificó a través de anotaciones que coincidían con atributos conocidos en conjuntos de datos de estereotipos.

#Representación Estereotipada

Los resultados mostraron que las imágenes de ciertos grupos de identidad tenían muchas más probabilidades de contener atributos estereotipados que los seleccionados aleatoriamente. Además, el análisis reveló que los modelos generativos a menudo se inclinaban hacia representaciones estereotipadas, incluso cuando se les daba instrucciones en contrario.

#Representaciones Ofensivas

También examinamos qué tan ofensivas eran ciertas representaciones. Los atributos ofensivos se clasificaron basándose en estudios previos. Las imágenes vinculadas a algunos grupos de identidad se observaron como más ofensivas que las que representaban a otros. Los grupos de identidad de África y América del Sur a menudo recibieron puntajes ofensivos más altos en comparación con grupos de regiones más adineradas como Escandinavia.

#Métodos Automatizados para Detección de Estereotipos

Usar tecnología para detectar estereotipos puede ahorrar tiempo y recursos. Empleamos una herramienta de subtitulado de imágenes existente para generar subtítulos para las imágenes. El objetivo era identificar si los subtítulos coincidían con los estereotipos visuales conocidos que habíamos identificado previamente.

El método nos permitió examinar qué tan bien los tools automatizados podían detectar estos estereotipos. Cuando usamos atributos visuales para guiar la evaluación, los resultados fueron más precisos en la identificación de estereotipos en comparación con cuando dependimos de atributos generales que eran más difíciles de representar visualmente.

#Atracción Estereotipada en la Generación de Imágenes

Un hallazgo clave fue la "atracción estereotipada". Este término describe la tendencia de los modelos T2I a retroceder a representaciones estereotipadas incluso cuando se les pide crear imágenes basadas en señales neutrales o no estereotipadas. Indica que los sesgos presentes en los datos de entrenamiento continúan influyendo significativamente en las imágenes generadas.

#Atracción Estereotipada a través de Identidades

El análisis de diferentes grupos de identidad mostró que muchos tienden a mostrar una mayor semejanza a representaciones estereotipadas. Al comparar las representaciones predeterminadas de los grupos de identidad con imágenes estereotipadas y no estereotipadas, pudimos medir esta atracción.

Los resultados confirmaron que para la mayoría de los grupos de identidad, las imágenes generadas por defecto eran más similares a imágenes estereotipadas. Además, para los grupos de identidad ubicados en el Sur Global, esta similitud era aún mayor, lo que sugiere una falta de diversidad en las representaciones visuales.

#Trabajo Futuro y Consideraciones

Este estudio destaca la necesidad de continuar evaluando los estereotipos en los modelos T2I. Aunque nuestro conjunto de datos cubre un número significativo de estereotipos visuales, el proceso de identificar la naturaleza subjetiva de los atributos sigue siendo un desafío. La investigación futura debería buscar incluir estereotipos más diversos de una amplia variedad de regiones.

Otro aspecto importante son las consideraciones éticas en torno a los estereotipos y la representación. Evaluar las representaciones visuales basadas únicamente en la identidad geográfica puede simplificar en exceso la naturaleza compleja de la identidad. La investigación futura debería esforzarse por ampliar su enfoque para incluir otros elementos como raza y género en relación con los estereotipos.

#Conclusión

La evaluación de los modelos T2I muestra una clara tendencia donde los estereotipos no solo están presentes, sino que a menudo se refuerzan a través de imágenes generadas. El conjunto de datos ViSAGe sirve como una herramienta útil para entender estos patrones y puede ayudar a mejorar la representación de varios grupos de identidad en la generación de contenido visual. Los estereotipos identificados y los hallazgos de este trabajo contribuirán, con suerte, a investigaciones futuras dirigidas a abordar sesgos en modelos de imagen generativa.

Al aumentar la conciencia sobre estos problemas, esperamos fomentar prácticas más inclusivas en el desarrollo y entrenamiento de modelos T2I. Esto, a su vez, puede llevar a una representación más precisa de identidades diversas, alejándose de estereotipos dañinos que malinterpretan culturas y comunidades. Continuar con este trabajo es esencial para promover la equidad y la representación en el contenido visual generado por IA.