Abordando el sesgo social en los modelos de IA

En los últimos años, ha habido grandes avances en el aprendizaje automático (ML), especialmente en modelos que manejan el lenguaje y las imágenes juntos. Estos avances han cambiado la forma en que las computadoras entienden el texto y las imágenes. Sin embargo, los investigadores encontraron que estos modelos también pueden recoger y reforzar sesgos sociales de los datos de los que aprenden. Esto puede llevar a un trato injusto hacia diferentes grupos sociales y causar problemas como la distribución desigual de recursos y una representación negativa de ciertos demográficos. Asegurar que estos sistemas de IA sean justos se ha vuelto muy importante en la comunidad de ML.

La introducción de modelos de visión y lenguaje (VL), que combinan el procesamiento de imágenes y texto, plantea preocupaciones sobre los sesgos sociales en este tipo de modelos. Aunque sabemos mucho sobre los sesgos en el procesamiento de lenguaje (NLP) y de imágenes (CV), no tenemos tanta información sobre los sesgos en los modelos VL. Este artículo tiene como objetivo dar a los investigadores una visión general de las similitudes y diferencias en cómo se estudia el Sesgo social en los modelos de lenguaje, imagen y visión-lenguaje. Al investigar estas áreas, esperamos proporcionar pautas útiles para abordar y reducir sesgos en situaciones tanto de un solo modo como de múltiples modos. Las recomendaciones que aquí se encuentran pueden ayudar a la comunidad de ML a crear modelos de IA más justos para diversas aplicaciones.

#¿Qué es el Sesgo Social?

El sesgo social se puede definir como dar un favor o desfavor injusto a una persona o grupo. En el contexto de la IA, significa tratar a individuos o grupos de manera inequitativa basado en características como raza, género, edad u otros rasgos sensibles. Esto puede suceder cuando los modelos de IA se entrenan con datos que contienen estos sesgos.

Por ejemplo, si un conjunto de datos incluye principalmente imágenes de hombres en roles profesionales, un modelo entrenado en estos datos podría sugerir injustamente que estas posiciones son más adecuadas para hombres que para mujeres, lo que lleva a decisiones sesgadas en solicitudes de empleo, publicidad u otras áreas. Por lo tanto, asegurar la equidad en los sistemas de IA es crucial.

#Importancia de la Equidad en la IA

Las Naciones Unidas tienen directrices que establecen que todas las personas deben recibir una protección igual contra la discriminación basada en características como raza, género o religión. Muchas organizaciones y países han enfatizado la necesidad de incluir la equidad en los sistemas de IA y ML. Al abordar sesgos sociales, podemos ayudar a prevenir la discriminación y promover la igualdad.

En los últimos años, tanto el procesamiento de lenguaje (NLP) como la comprensión de imágenes (CV) han logrado un progreso significativo, en gran parte gracias a los modelos basados en transformadores. A medida que estos modelos se han vuelto más comunes, ha crecido la necesidad de modelos más justos y objetivos. Si bien ha habido muchos estudios destinados a abordar el sesgo social en NLP y CV por separado, trabajos recientes también han comenzado a abordar sesgos en modelos VL, que también enfrentan sesgos similares.

#Resumen del Sesgo en el Aprendizaje Automático

#Tipos de Sesgo

1. Sesgo Intrínseco: Este tipo de sesgo existe dentro de las características y representaciones aprendidas por el modelo durante el entrenamiento.
2. Sesgo Extrínseco: Este sesgo se puede observar en el rendimiento del modelo al aplicarlo a tareas del mundo real, como diferencias en precisión entre diferentes grupos demográficos.

#Cómo Medir el Sesgo

Para asegurar la equidad, es necesario medir con precisión el sesgo. Algunas técnicas comunes utilizadas en modelos de lenguaje incluyen:

• Prueba de Asociación de Embedding de Palabras (WEAT): Mide qué tan estrechamente vinculadas están ciertas palabras según el género o la raza.
• Prueba de Asociación de Codificador de Frases (SEAT): Similar a WEAT, pero se enfoca en oraciones en lugar de palabras individuales.

En cambio, los modelos visuales tienen su propio conjunto de técnicas de medición de sesgo, comúnmente adaptadas de métodos de NLP.

#Abordando el Sesgo

Los investigadores han desarrollado varias estrategias para minimizar el sesgo en los modelos de IA, categorizadas en tres tipos principales:

1. Técnicas de Preprocesamiento: Modificar los datos de entrenamiento para eliminar sesgos antes de que el modelo sea entrenado.
2. Técnicas de Procesamiento: Cambiar los algoritmos de aprendizaje durante la fase de entrenamiento para reducir sesgos.
3. Técnicas de Postprocesamiento: Ajustar la salida del modelo después del entrenamiento para corregir sesgos.

#Sesgo en Modelos de Lenguaje

#Midiendo el Sesgo en el Lenguaje

Han surgido diversas técnicas para evaluar el sesgo social en los modelos de lenguaje. El sesgo intrínseco se puede medir dentro de las palabras o frases utilizadas en el modelo, mientras que el sesgo extrínseco se evalúa a través del rendimiento en tareas como la clasificación de texto o la traducción.

Las métricas de sesgo intrínseco comúnmente utilizadas incluyen WEAT y SEAT, que evalúan qué tan sesgados están los embeddings de palabras aprendidos. Por ejemplo, una herramienta como WEAT puede reflejar sesgos de género en títulos profesionales.

#Mitigando el Sesgo en Modelos de Lenguaje

Para abordar el sesgo presente en los modelos de lenguaje, los investigadores han propuesto varios métodos:

1. Aumento de Datos: Involucra equilibrar los datos de entrenamiento a través de géneros y otros atributos demográficos.
2. Entrenamiento Adversarial: Incorpora un modelo adicional para identificar y reducir el sesgo en las predicciones.
3. Técnicas de Dessesgo: Estas técnicas buscan ajustar cómo se representan las características, asegurando que los atributos sensibles no influyan en los resultados.

#Sesgo en Modelos Visuales

#Midiendo el Sesgo en la Visión

En los modelos visuales, el sesgo se puede observar a través de la capacidad del modelo para clasificar imágenes sin prejuicios. Los estudios han mostrado que estos modelos a menudo tienen un rendimiento deficiente con individuos de grupos subrepresentados.

#Mitigando el Sesgo en Modelos Visuales

Los investigadores han desarrollado métodos para mejorar la equidad en los sistemas basados en visión, que incluyen:

1. Aumento de Datos: Crear nuevas imágenes para asegurar una representación equilibrada en los datos de entrenamiento.
2. Algoritmos de Aprendizaje Justos: Diseñar algoritmos que tengan en cuenta los desequilibrios en los datos de entrenamiento, asegurando que los grupos minoritarios no sean pasados por alto.
3. Desentrelazando Características: Separar los atributos sensibles de los datos visuales para que el modelo pueda aprender sin sesgos.

#Sesgo en Modelos Visión-Lenguaje

#Desafíos en Modelos Visión-Lenguaje

Los modelos VL enfrentan desafíos únicos cuando se trata de sesgo. Dado que manejan tanto información visual como textual, los sesgos presentes en cualquier modalidad pueden interactuar de maneras complejas.

1. Diferencias en la Representación: El texto puede expresar tanto atributos visibles como no visibles, mientras que las imágenes solo pueden mostrar cualidades visibles. Esto puede llevar a asociaciones incorrectas.
2. Dificultad en la Creación de Pares de Imágenes Contrafactuales: Generar pares de imágenes que solo cambian atributos sensibles (por ejemplo, género) es un desafío y a menudo requiere manipulaciones complejas que pueden introducir nuevos sesgos.
3. Manejo de Distribuciones de Conjuntos de Datos Sesgados: Los conjuntos de datos para entrenamiento a menudo están sesgados hacia ciertos demográficos, lo que impacta la precisión de los modelos.

#Midiendo el Sesgo en Modelos Visión-Lenguaje

Evaluar el sesgo social en los modelos VL implica evaluar cómo los modelos se desempeñan en diversas tareas, como la generación de subtítulos de imágenes y la generación de texto a imagen. Los sesgos se pueden medir a través de:

1. Uso de Palabras Específicas de Género: Analizando los subtítulos generados por el modelo para ver si favorecen a un género sobre otro.
2. Disparidades en el Rendimiento: Midiendo la diferencia en la precisión del modelo entre varios grupos demográficos al realizar tareas como la recuperación de imágenes.

#Mitigando el Sesgo en Modelos Visión-Lenguaje

Al igual que con los modelos de lenguaje y visión, los modelos VL también pueden beneficiarse de varias técnicas de mitigación:

1. Muestreo de Datos: Crear conjuntos de datos equilibrados que representen de manera justa a todos los demográficos.
2. Ingeniería de Prompts: Personalizar los prompts dados al modelo para reducir la influencia del sesgo.
3. Recorte de Características: Eliminar partes de características vinculadas a información sensible para reducir la discriminación.

#Direcciones Futuras

#Mejorando la Evaluación del Sesgo

Los investigadores deberían centrarse en entender cómo el diseño de las arquitecturas de modelos VL influye en el sesgo. Analizar los efectos de diferentes diseños de modelos y estrategias de entrenamiento podría ayudar a mejorar las prácticas de medición y mitigación del sesgo.

#Mejores Estrategias de Mitigación

Los métodos existentes a menudo pueden impactar el rendimiento de la tarea principal de los modelos. La investigación debería buscar nuevas estrategias que reduzcan el sesgo sin perjudicar la precisión general.

#Abordando Múltiples Atributos

La mayoría de los estudios se concentran en un solo rasgo sensible, como el género o la raza. El trabajo futuro debería explorar cómo abordar múltiples rasgos simultáneamente en modelos VL, así como las interacciones entre diferentes sesgos.

#Conclusión

La presencia de sesgos sociales en modelos de ML, particularmente en sistemas basados en transformadores a través de modalidades de lenguaje, visión y visión-lenguaje, plantea desafíos significativos para asegurar la equidad. Si bien algunas investigaciones han comenzado a abordar estos problemas por separado, aún queda mucho trabajo por hacer para entender y mitigar el sesgo en los modelos VL específicamente. Al avanzar en nuestra comprensión del sesgo social y la equidad, la comunidad de IA puede desarrollar mejores sistemas que promuevan la igualdad y protejan los derechos de las personas.