Sesgo en la anotación de IA para la detección de discurso de odio

La Anotación de datos es el proceso de etiquetar datos en bruto, lo que es crucial para hacer que los modelos de aprendizaje automático funcionen mejor. Este proceso puede verse afectado por Sesgos de las personas que realizan la anotación. Con el auge de modelos avanzados de IA, conocidos como Modelos de Lenguaje Grandes (LLMs), como ChatGPT, hay una oportunidad para mejorar esta tarea compleja. Mientras que la investigación ha analizado cuán efectivos son generalmente estos modelos de IA, este documento se centra en los sesgos que tienen al etiquetar datos de Discurso de odio.

Estudiamos los sesgos en los LLMs, específicamente versiones como GPT 3.5 y GPT 4o, cuando anotan datos para la detección de discurso de odio. Nuestra investigación examina sesgos en cuatro áreas principales: género, raza, religión y discapacidad. Nos fijamos especialmente en el impacto en grupos vulnerables dentro de estas categorías para analizar cómo aparecen los sesgos en las anotaciones. Echamos un vistazo cercano a los datos anotados para averiguar qué podría estar causando estos sesgos. Nuestro conjunto de datos personalizado para la detección de discurso de odio se desarrolló para esta investigación y también usamos el conjunto de datos ETHOS para comparar resultados.

Este documento tiene como objetivo ayudar a investigadores y profesionales a entender los sesgos en los LLMs cuando se utilizan para la anotación de datos. Queremos allanar el camino para mejoras en los sistemas de detección de discurso de odio.

#Anotación de Datos en IA

En el campo del aprendizaje automático y el Procesamiento del Lenguaje Natural (NLP), la anotación de datos juega un papel vital. No se trata solo de etiquetar datos. Incluye muchos pasos, como clasificar los datos en bruto, añadir etiquetas extra para contexto y asignar puntajes para medir cuán confiables son las anotaciones. Este proceso puede ser complicado y subjetivo, lo que requiere experiencia y mucho trabajo manual para etiquetar grandes conjuntos de datos.

Recientemente, modelos de IA grandes como la serie GPT de OpenAI y BERT de Google han cambiado la forma en que abordamos estas tareas al demostrar que pueden entender y crear texto parecido al humano bastante bien. Los LLMs podrían ayudar a facilitar la anotación de datos al automatizar tareas y asegurarse de que haya consistencia en grandes conjuntos de datos. Pueden ser ajustados o fine-tuned para adaptarse a necesidades específicas, lo que los hace atractivos para su uso en una variedad de dominios.

Sin embargo, el uso de Anotadores humanos todavía conlleva riesgos de sesgos, ya sean intencionales o no, que pueden afectar el rendimiento de los sistemas de IA. Este documento se centrará en cómo aparece el sesgo en los LLMs cuando anotan datos de discurso de odio. Queremos entender los problemas alrededor de los sesgos relacionados con género, raza, religión y discapacidades, particularmente en el contexto de grupos vulnerables.

#Preguntas de Investigación

Nuestra investigación tiene como objetivo responder varias preguntas importantes:

1. ¿Hay evidencia de sesgo en los LLMs utilizados para detectar discurso de odio?
2. Si existe sesgo, ¿qué factores podrían contribuir a ello?
3. ¿Qué estrategias pueden ayudar a reducir estos sesgos?

#Contribuciones del Estudio

En nuestra investigación:

• Mostramos que los LLMs como GPT-3.5 y GPT-4o exhiben sesgos de anotadores al etiquetar discurso de odio. El uso de interpretaciones subjetivas lleva a datos de entrenamiento sesgados, lo que puede afectar negativamente el rendimiento del modelo.
• Analizamos cuatro tipos de sesgos: sesgo de género, sesgo racial, sesgo contra discapacidades y sesgo religioso. Por ejemplo, nuestros hallazgos incluyen cómo ocurre el sesgo de género cuando las identidades de las personas afectan cómo etiquetan el discurso de odio.
• Investigamos las causas subyacentes de estos sesgos y sugerimos posibles soluciones para abordar estos problemas.

#Trabajo Relacionado

El uso de LLMs ha transformado las tareas de NLP, haciéndolas más avanzadas y contextualmente conscientes. Modelos como BERT y GPT han mostrado grandes resultados en varias tareas, incluida la clasificación de texto y la respuesta a preguntas, gracias a su capacidad para aprender de grandes conjuntos de datos.

Varios estudios han explorado cómo los LLMs pueden ayudar con la anotación de datos. Por ejemplo, algunas investigaciones examinaron cómo los LLMs podrían crear explicaciones comprensibles para las predicciones de modelos de aprendizaje automático. Otros demostraron la eficiencia de los LLMs para acelerar el proceso de anotación al reducir el tiempo necesario para el etiquetado manual.

Ha habido un creciente interés en usar LLMs para anotar datos en diferentes tareas de NLP. Los estudios han encontrado que el uso de modelos como GPT-3 puede reducir significativamente los costos de etiquetado. Además, la investigación ha señalado que los LLMs podrían producir mejores resultados que los anotadores humanos en algunas tareas de clasificación.

La investigación sobre los sesgos en los modelos de NLP es importante. Estudios previos han destacado dos tipos principales de sesgo: daños allocacionales y representacionales. Se han explorado diferentes métodos para detectar y reducir estos sesgos en tareas relacionadas con la comprensión y generación de lenguaje.

#Flujo de Trabajo y Recolección de Datos

Nuestro estudio comienza con una cuidadosa selección de términos relacionados con el discurso de odio de una base de datos que identifica palabras de odio. Recopilamos tweets que incluían estos términos utilizando la API de Twitter, lo que resultó en un conjunto de datos de 3003 tweets. Para anotar estos datos, involucramos a tres estudiantes de posgrado que categorizaron cada tweet como "Odiado" o "No Odiado".

Reconociendo problemas en métodos previamente utilizados que a menudo llevaban a desacuerdos entre los anotadores humanos, nuestro estudio desarrolló pautas más claras y consistentes para etiquetar el discurso de odio. Esto implicó crear un entendimiento compartido de qué constituye el discurso de odio. Proporcionamos definiciones detalladas e información contextual para ayudar a los anotadores.

Cada tweet fue evaluado por los tres anotadores independientes, y la decisión mayoritaria determinó la etiqueta final.

#Anotación de Datos por Modelos de IA

Luego, hicimos que nuestro conjunto de datos fuera anotado por los LLMs ChatGPT utilizando tanto GPT-3.5 como GPT-4o. Proporcionamos indicaciones específicas para instruir al modelo sobre cómo anotar los datos. Usando varias perspectivas, analizamos cómo podrían manifestarse los sesgos en las anotaciones.

#Resultados y Discusión

También analizamos los mismos sesgos en el conjunto de datos ETHOS y encontramos diferencias significativas en los resultados de ambos conjuntos de datos cuando fueron anotados por los LLMs. Nuestro análisis mostró sesgos claros en cómo se trataban a diferentes grupos en las etiquetas.

Por ejemplo, hubo discrepancias notables en cómo individuos de diferentes razas percibían y etiquetaban el lenguaje ofensivo. Descubrimos que el trasfondo cultural influye en cómo las personas interpretan el discurso de odio, llevando a diferentes resultados de etiquetado.

#Análisis de Sesgos

• Sesgo Racial: Nuestros hallazgos indicaron que personas de diferentes orígenes raciales etiquetaban declaraciones ofensivas de manera diferente. Por ejemplo, un anotador asiático puede reaccionar fuertemente a términos relacionados con su etnicidad, mientras que un no asiático podría no ver la misma urgencia.

• Sesgo de Género: Notamos distintas sensibilidades en etiquetar discurso de odio entre anotadores según el género. Las anotadoras femeninas mostraron una mayor inclinación a etiquetar lenguaje agresivo como odioso en comparación con sus contrapartes masculinos.

• Sesgo Religioso y Discapacidad: También se evidenciaron diferencias entre anotadores con diversas creencias religiosas y discapacidades. Algunos términos fueron señalados como odiosos con más frecuencia por aquellos que se identificaban con grupos marginados, destacando cómo las experiencias personales moldean las percepciones del discurso de odio.

#Conclusión

Nuestro estudio destaca la presencia de sesgos de anotadores en modelos de IA utilizados para la detección de discurso de odio. Si bien los LLMs como GPT-3.5 y GPT-4o ofrecen oportunidades para mejorar la anotación de datos, también conllevan el riesgo de amplificar sesgos dañinos.

Recomendamos enfoques para reducir estos sesgos, como desarrollar pautas específicas durante el proceso de entrenamiento o anotación. Los estudios futuros deberían centrarse en comprender mejor estos sesgos y cómo se pueden controlar.

Esta investigación contribuye con valiosas perspectivas sobre los sesgos presentes en los Modelos de Lenguaje Grandes. Abre más discusiones sobre cómo garantizar la equidad y fiabilidad en los procesos de anotación de datos impulsados por IA. A medida que los LLMs se integren cada vez más en las tareas cotidianas, es esencial seguir abordando estos sesgos para minimizar los posibles impactos negativos en la sociedad.