Reduciendo el sesgo en modelos de lenguaje de manera eficiente

Los modelos de lenguaje son programas de computadora diseñados para entender y generar lenguaje humano. Recientemente, estos modelos se han vuelto muy grandes y complejos, lo que lleva a que a veces adopten Sesgos humanos que se encuentran en los datos con los que fueron entrenados. Estos sesgos pueden aparecer en cómo responden o interactúan con ciertos grupos según género, raza o religión.

El desafío es que a medida que estos modelos crecen, se hace más difícil y costoso eliminar o reducir estos sesgos. Este artículo habla sobre métodos que son más eficientes a la hora de ajustar los parámetros del modelo para ayudar a reducir estos sesgos sin necesitar tanta potencia de cómputo. También vemos qué tan bien funcionan estos métodos, especialmente cuando se combinan con una técnica llamada Aumento de Datos Contrafactual (CDA).

#¿Qué son los Sesgos en los Modelos de Lenguaje?

Los modelos de lenguaje aprenden mirando grandes cantidades de texto de varias fuentes, a menudo tomadas de internet. Desafortunadamente, si este texto contiene información desequilibrada o estereotipada sobre ciertos grupos, los modelos pueden aprender y replicar estos sesgos. Por ejemplo, podrían asociar ciertas profesiones con un género específico o perpetuar estereotipos basados en raza o religión.

En los últimos años, muchos investigadoras se han centrado en encontrar maneras de reducir estos sesgos en los modelos de lenguaje. Su objetivo es crear modelos que traten a todos los grupos demográficos de manera justa sin afectar negativamente el rendimiento del modelo.

#La Necesidad de Métodos Eficientes en Parámetros

A medida que los modelos de lenguaje se hacen más grandes, la tarea de afinarlos y deshacer sesgos se vuelve cada vez más exigente. Los métodos tradicionales requieren cambiar muchos parámetros, lo que puede ser lento y consumir muchos recursos. Ahí es donde entran los métodos eficientes en parámetros. Estos métodos se enfocan en ajustar solo un pequeño número de parámetros mientras mantienen la mayor parte del modelo sin cambios. Esto puede ahorrar tiempo y memoria durante el entrenamiento.

Los principales métodos eficientes en parámetros que se discuten aquí son:

1. Ajuste de Prefijos: Este método añade vectores extra al mecanismo de atención del modelo, permitiendo que el modelo altere su enfoque mientras mantiene la mayor parte de su estructura igual.

2. Ajuste de Prompts: En lugar de modificar las capas internas del modelo, este método añade tokens específicos al principio de los datos de entrada para guiar el comportamiento del modelo.

3. Ajuste de Adaptadores: Este método coloca pequeños módulos dentro del modelo que aprenden a ajustar la salida según tareas específicas mientras mantienen el modelo principal intacto.

#Combinando Métodos con Aumento de Datos Contrafactual

CDA es una técnica que se utiliza para hacer que los datos sean más equilibrados reemplazando palabras o frases sesgadas en las oraciones de entrenamiento por sus contrapartes. Por ejemplo, si una oración dice “Él es un doctor”, CDA crearía una nueva versión como “Ella es una doctora”. Este enfoque ayuda a asegurar que ambos géneros estén representados por igual en los datos de entrenamiento.

Cuando se usa con métodos eficientes en parámetros, CDA ayuda a fortalecer el impacto del ajuste de los parámetros del modelo. Al entrenar en un conjunto de datos más equilibrado, estos modelos pueden aprender a reducir el sesgo de manera efectiva mientras retienen conocimiento valioso.

#Examen de Resultados

#Mitigación de Sesgos de Género

En nuestros experimentos, analizamos qué tan bien estos métodos eficientes en parámetros reducen el sesgo de género. Usamos dos conjuntos de datos conocidos por contener sesgos de género – CrowS-Pairs y StereoSet. El objetivo era ver qué tan cerca podíamos llegar a un puntaje de estereotipo del 50%, donde un puntaje del 50% indica que no hay sesgo.

Los hallazgos muestran que:

• Ajuste de Adaptadores fue el método más efectivo para reducir el sesgo de género en ambos conjuntos de datos.
• Ajuste de Prompts funcionó notablemente bien con GPT-2, mostrando resultados de debiasing similares a los del ajuste de prefijos pero requiriendo menos parámetros.
• Todos los métodos eficientes en parámetros superaron a los métodos tradicionales de debiasing post-hoc en cuanto a preservar las habilidades de modelado mientras lograban resultados de debiasing comparables.

#Mitigación de Sesgos Raciales y Religiosos

De manera similar, evaluamos los métodos para reducir el sesgo racial y religioso. Los resultados no fueron tan fuertes como con el sesgo de género.

• Ajuste de Adaptadores tuvo dificultades en muchos casos, mostrando efectividad limitada en abordar sesgos raciales y religiosos.
• Ajuste de Prompts fue algo efectivo para sesgos raciales pero no funcionó bien en sesgos religiosos.
• En varias ocasiones, ninguno de los métodos eficientes en parámetros redujo significativamente el puntaje de estereotipo.

En esta área, métodos post-hoc como SelfDebias demostraron un mejor rendimiento general sin afectar la capacidad del modelo para generar lenguaje.

#Impacto en el Conocimiento Interno

También analizamos cómo el debiasing afecta el conocimiento fáctico de un modelo. Examinamos los modelos en varios conjuntos de datos para medir su rendimiento al recuperar hechos. Encontramos que:

• Los métodos eficientes en parámetros generalmente mantuvieron el conocimiento interno de los modelos, con solo reducciones menores en el rendimiento.
• De hecho, para algunas tareas, el rendimiento del modelo mejoró después de ser debiasado, probablemente debido a la inclusión de datos de entrenamiento actualizados y equilibrados.

Además, evaluamos cómo el debiasing impactó a los modelos cuando fueron afinados en tareas posteriores. Aquí, el método de ajuste de adaptadores logró casi los mismos resultados que el ajuste completo mientras ofrecía ventajas significativas en eficiencia.

#Limitaciones del Estudio

Si bien los hallazgos son prometedores, hay limitaciones que vale la pena señalar:

1. Enfoque en el Idioma Inglés: Los experimentos se centraron principalmente en sesgos en el idioma inglés y contextos culturales de América del Norte, lo que puede no representar los sesgos encontrados en otros idiomas o regiones.

2. Enfoque en Estereotipos: Las evaluaciones se limitaron a los estereotipos, sin cubrir otras formas de sesgos o daños que pueden existir en los modelos de lenguaje.

3. Atributos de Sesgo Incompletos: Las listas de palabras sesgadas utilizadas para el método CDA no eran exhaustivas, lo que significa que algunos sesgos pueden no haber sido abordados adecuadamente.

#Conclusión

El estudio exploró métodos efectivos para reducir los sesgos en modelos de lenguaje mientras mantenía su rendimiento. Al implementar métodos eficientes en parámetros junto con CDA, pudimos lograr resultados significativos de debiasing, particularmente en la mitigación de sesgos de género. Sin embargo, aún quedan desafíos para abordar los sesgos raciales y religiosos de manera efectiva.

Este trabajo es un paso hacia la creación de modelos de lenguaje más justos e inclusivos que no perpetúen estereotipos dañinos. A medida que la investigación futura continúa avanzando, esperamos ver aplicaciones más amplias de estos métodos en diferentes idiomas y contextos culturales, contribuyendo en última instancia a una experiencia más equitativa en Procesamiento de Lenguaje Natural.