Sesgo en herramientas automatizadas contra el inglés afroamericano

El lenguaje siempre está cambiando, y la forma en que la gente habla puede variar mucho según dónde vivan, con quién estén y la tecnología que estén usando. Una forma de inglés que ha ganado más atención es el Inglés afroamericano (AAE). El auge de las redes sociales ha facilitado que la gente comparta sus formas únicas de hablar, pero esto también trae desafíos. Un gran problema es la forma en que ciertas herramientas automatizadas evalúan y puntúan las oraciones por su sentimiento (qué tan positivo o negativo es algo) y Toxicidad (qué tan dañino u ofensivo es algo).

Este documento se centra en cómo estas herramientas a menudo tienen Sesgos en contra del AAE. Por ejemplo, cuando una herramienta que puntúa la toxicidad mira la afirmación "Todos los nggers merecen morir respetuosamente. La policía nos asesina." la califica como más tóxica que "Los afroamericanos merecen morir respetuosamente. La policía nos asesina." La herramienta tiene problemas para entender el contexto del término "ngger", que ha sido re-apropiado por algunos dentro de la comunidad negra. El sesgo proviene de cómo estas herramientas automatizadas son entrenadas con ejemplos limitados que no representan adecuadamente las complejidades del lenguaje.

#La Importancia del Lenguaje en las Comunidades en Línea

Internet ha visto un enorme aumento en usuarios, pasando de 400 millones en 2000 a 4.7 mil millones en 2020. Este aumento ha permitido que un rango diverso de grupos sociales se comuniquen, lo que a su vez ha llevado al crecimiento de varios dialectos como el AAE. Sin embargo, con tanto texto en línea, es imposible que la gente monitoree manualmente todas las comunicaciones. Esto crea una necesidad de herramientas automatizadas que ayuden a identificar el discurso dañino o negativo, especialmente cuando se dirige a grupos marginados que históricamente han enfrentado discriminación.

El AAE ha pasado de ser visto como una forma inferior de inglés a ser reconocido como un dialecto válido. Esta transición fue facilitada por Internet, donde el AAE escrito se ha vuelto más común. Sin embargo, el entorno en línea también puede servir como una plataforma para campañas dañinas contra los afroamericanos. Mientras que algunos sitios web tienen pautas definidas para el comportamiento, el anonimato permite el mal uso.

#Modelos de Análisis de Toxicidad y Sentimiento

Dos tipos de modelos se usan comúnmente para evaluar texto en línea: modelos de toxicidad, que incluyen herramientas como Perspective de Google y Detoxify, y modelos de Análisis de Sentimiento como Vader y TextBlob. Estos modelos están diseñados para juzgar si una afirmación es tóxica o qué tipo de sentimiento expresa.

Sin embargo, estos modelos no siempre funcionan de manera justa entre diferentes dialectos. Las expresiones del AAE a menudo reciben puntuaciones de toxicidad más altas en comparación con declaraciones similares hechas en inglés estándar. Este sesgo presenta un desafío porque puede llevar al tratamiento injusto de hablantes que usan AAE, resultando en una moderación inexacta de sus comentarios en línea.

#La Pregunta de Investigación

La pregunta central de este estudio es si hay un sesgo sistemático en cómo los modelos de análisis de toxicidad y sentimiento evalúan el AAE. Para explorar esto, se creó un conjunto de datos que incluye varias expresiones del AAE junto con muestras de texto de diferentes fuentes, incluidas redes sociales y entrevistas orales. El objetivo era identificar cómo estos modelos funcionan al evaluar el AAE en comparación con el inglés estándar.

#Metodología

Para estudiar este problema, se analizaron varios conjuntos de datos. El primer conjunto de datos consistía en tweets que habían sido clasificados como usando AAE o inglés americano convencional (MAE). El segundo conjunto de datos provino de reseñas de películas de YouTube, que presentaban a un único hablante discutiendo un tema de película. El conjunto final contenía entrevistas orales con hablantes de AAE y MAE.

Los investigadores curaron cuidadosamente estos conjuntos de datos para incluir una amplia gama de expresiones. Además de las expresiones en AAE, también se analizaron varias características lingüísticas y gramaticales para entender mejor los sesgos de los modelos.

#Resultados

El análisis reveló que los modelos tienden a asignar puntuaciones de toxicidad más altas a las declaraciones que contienen expresiones de AAE, incluso si el significado es similar a una declaración en inglés estándar. Por ejemplo, en el conjunto de tweets, los tweets con expresiones de AAE recibieron consistentemente puntuaciones de toxicidad más altas que los tweets no AAE que transmitían las mismas ideas.

En las entrevistas orales, este sesgo también fue evidente. Al comparar las respuestas de hablantes afroamericanos que usaban AAE con aquellos que usaban inglés estándar, los modelos juzgaron injustamente a los primeros como más tóxicos, incluso cuando el contexto era similar.

#Características Lingüísticas y su Impacto

Para entender la mecánica detrás de estos sesgos, se analizaron características lingüísticas. Emergieron ciertos patrones, indicando que la presencia de expresiones de AAE era el predictor más significativo de una puntuación de toxicidad más severa. Otros factores, como la cantidad de palabras emocionales o gramática, también jugaron un papel, pero el uso de AAE destacó.

Por ejemplo, los modelos que medían el sentimiento no siempre puntuaron las oraciones con expresiones de AAE de manera negativa. Sin embargo, el sesgo fue más pronunciado en los modelos de toxicidad. Esto indica que, aunque el análisis de sentimiento podría ser más indulgente, la evaluación de toxicidad sigue siendo problemática cuando se trata de formas no estándar de inglés.

#Similitud Semántica

Una pregunta clave que surgió fue si oraciones similares recibían diferentes puntuaciones según las expresiones de AAE utilizadas. Al comparar pares de oraciones que tenían significados similares pero diferente uso de AAE, quedó claro que las oraciones con expresiones de AAE a menudo recibían evaluaciones mucho más severas.

Por ejemplo, dos oraciones podrían expresar ideas casi idénticas, pero si una contenía expresiones de AAE, era mucho más probable que se puntuara como tóxica. Esto ilustra aún más los sesgos presentes dentro de estas herramientas automatizadas, indicando la necesidad de protocolos de evaluación más conscientes del contexto.

#Discusión

Los hallazgos plantean preguntas importantes sobre la equidad de las herramientas automatizadas de moderación de contenido. El sesgo en contra del AAE no solo limita la Expresión de los afroamericanos, sino que también socava la integridad de las discusiones que ocurren en línea. Esto es especialmente preocupante cuando se utilizan herramientas automatizadas para moderar conversaciones en plataformas de redes sociales donde interactúan comunidades diversas.

Si bien el sesgo en los modelos de IA es un problema bien reconocido, sigue siendo prevalente en el contexto del AAE. El estudio enfatiza la necesidad de una mayor conciencia sobre estos sesgos, alentando a los desarrolladores a reconsiderar cómo entrenan sus modelos y los conjuntos de datos que utilizan.

#Conclusión

En conclusión, este análisis destaca sesgos significativos en cómo las herramientas de análisis de toxicidad y sentimiento automatizadas evalúan el AAE. Los resultados sugieren que incluso los modelos bien desarrollados tienen dificultades para evaluar con precisión el lenguaje que se sale de las normas tradicionales.

Hay una necesidad clara de conjuntos de datos de entrenamiento más inclusivos que representen mejor las ricas variaciones del inglés, incluido el AAE. Al incorporar ejemplos más diversos en el entrenamiento, podemos trabajar para reducir estos sesgos y fomentar una comunicación en línea más justa para todos los usuarios.

Mejorar la precisión de estas herramientas es crucial, no solo por una cuestión de equidad, sino también por el objetivo más amplio de fomentar un espacio digital más inclusivo. A medida que el lenguaje continúa evolucionando, la forma en que desarrollamos e implementamos la tecnología también debe adaptarse para asegurar que todas las voces sean tratadas de manera igual y justa.

#Consideraciones Éticas

Como en cualquier investigación que involucre lenguaje e identidad, las consideraciones éticas son primordiales. Este estudio evitó activamente depender de datos demográficos auto-reportados, especialmente en lo que respecta a la raza, para mitigar cualquier sesgo potencial. En su lugar, el enfoque se mantuvo en las expresiones de AAE en sí.

El objetivo no es condenar herramientas o modelos de IA, sino identificar sesgos en sistemas existentes. Al arrojar luz sobre estos problemas, los investigadores esperan inspirar mejoras y fomentar un diálogo adicional sobre el impacto de la IA en la vida de las comunidades marginadas.

Cualquier término o expresión considerada ofensiva no se utilizó con intención, sino más bien para reflejar con precisión la naturaleza del estudio. La meta es mejorar la comprensión mientras se promueve un discurso responsable y respetuoso en el desarrollo y la aplicación de la tecnología.