Biais dans les outils automatiques contre l'anglais afro-américain

La langue évolue toujours, et la façon dont les gens parlent peut varier énormément selon où ils vivent, avec qui ils sont et la technologie qu'ils utilisent. Une forme d'anglais qui a pris de l'importance, c'est L'anglais afro-américain (AAE). L'explosion des réseaux sociaux a facilité le partage des manières de parler uniques, mais ça amène aussi des défis. Un gros problème, c'est comment certains outils automatisés évaluent et notent les phrases pour le sentiment (si c'est positif ou négatif) et la Toxicité (si c'est nuisible ou offensant).

Cet article se concentre sur le fait que ces outils ont souvent des biais contre l'AAE. Par exemple, quand un outil qui évalue la toxicité regarde la phrase "Tous les nggers méritent de mourir avec respect. La police nous tue.", il la note comme plus toxique que "Les Afro-Américains méritent de mourir avec respect. La police nous tue." L'outil a du mal à comprendre le contexte du terme "ngger", qui a été réapproprié par certains dans la communauté noire. Le biais vient du fait que ces outils automatisés sont formés sur des exemples limités qui ne représentent pas bien les complexités de la langue.

#L'Importance de la Langue dans les Communautés en Ligne

Internet a vu une explosion du nombre d'utilisateurs, passant de 400 millions en 2000 à 4,7 milliards en 2020. Cette augmentation a permis à une large gamme de groupes sociaux de communiquer, ce qui a conduit à la croissance de différents dialectes comme l'AAE. Cependant, avec tant de textes en ligne, il est impossible pour les gens de suivre manuellement toutes les communications. Cela crée un besoin d'outils automatisés qui aident à identifier les discours nuisibles ou négatifs, surtout quand ils s'attaquent à des groupes marginalisés qui ont historiquement fait face à la discrimination.

L'AAE est passé d'une forme d'anglais considérée comme inférieure à un dialecte reconnu comme valide. Cette transition a été facilitée par Internet, où l'AAE écrit est devenu plus courant. Cependant, l'environnement en ligne peut aussi servir de plateforme pour des campagnes nuisibles contre les Afro-Américains. Bien que certains sites aient défini des lignes directrices pour le comportement, l'anonymat permet des abus.

#Modèles d'Analyse de Toxicité et de Sentiment

Deux types de modèles sont souvent utilisés pour évaluer le texte en ligne : les modèles de toxicité, qui comprennent des outils comme Perspective de Google et Detoxify, et les modèles d'analyse de sentiment comme Vader et TextBlob. Ces modèles sont conçus pour juger si une déclaration est toxique ou quel type de sentiment elle exprime.

Cependant, ces modèles ne fonctionnent pas toujours de manière équitable entre les différents dialectes. Les Expressions en AAE reçoivent souvent des scores de toxicité plus élevés par rapport à des déclarations similaires faites en anglais standard. Ce biais pose un problème car cela peut entraîner un traitement injuste des locuteurs qui utilisent l'AAE, entraînant une modération inexacte de leurs commentaires en ligne.

#La Question de Recherche

La question centrale de cette étude est de savoir s'il existe un biais systématique dans la façon dont les modèles d'analyse de toxicité et de sentiment évaluent l'AAE. Pour explorer cela, un ensemble de données a été créé qui inclut diverses expressions de l'AAE aux côtés d'échantillons de texte provenant de différentes sources, y compris les réseaux sociaux et des interviews parlées. L'objectif était d'identifier comment ces modèles fonctionnent lors de l'évaluation de l'AAE par rapport à l'anglais standard.

#Méthodologie

Pour étudier ce problème, plusieurs ensembles de données ont été analysés. Le premier ensemble de données consistait en des tweets classés comme utilisant soit l'AAE, soit l'anglais américain mainstream (MAE). Le deuxième ensemble provenait d'avis de films sur YouTube, où un seul intervenant discutait d'un sujet de film. Le dernier ensemble contenait des interviews parlées avec des locuteurs d'AAE et de MAE.

Les chercheurs ont soigneusement sélectionné ces ensembles de données pour inclure un large éventail d'expressions. En plus des expressions AAE, diverses caractéristiques linguistiques et grammaticales ont également été analysées pour mieux comprendre les biais des modèles.

#Résultats

L'analyse a révélé que les modèles tendent à attribuer des scores de toxicité plus élevés aux déclarations contenant des expressions AAE, même si le sens est similaire à une déclaration en anglais standard. Par exemple, dans l'ensemble de données Twitter, les tweets avec des expressions AAE ont systématiquement reçu des scores de toxicité plus élevés que les tweets non AAE qui transmettaient les mêmes idées.

Dans les interviews parlées, ce biais était également évident. En comparant les réponses des intervenants afro-américains qui utilisaient l'AAE à celles qui utilisaient l'anglais standard, les modèles jugeaient injustement les premiers comme plus toxiques, même lorsque le contexte était similaire.

#Caractéristiques Linguistiques et Leur Impact

Pour comprendre les mécanismes derrière ces biais, des caractéristiques linguistiques ont été analysées. Certains schémas ont émergé, indiquant que la présence d'expressions AAE était le prédicteur le plus significatif d'un score de toxicité plus sévère. D'autres facteurs, comme le nombre de mots émotionnels ou la grammaire, ont joué un rôle, mais l'utilisation de l'AAE se distinguait.

Par exemple, les modèles qui mesuraient le sentiment ne notaient pas toujours négativement les phrases avec des expressions AAE. Cependant, le biais était plus prononcé dans les modèles de toxicité. Cela indique que, même si l'analyse de sentiment pourrait être plus clémente, l'évaluation de la toxicité reste problématique quand il s'agit de formes d'anglais non standard.

#Similarité Sémantique

Une question clé qui s'est posée était de savoir si des phrases similaires recevaient des scores différents en fonction des expressions AAE utilisées. En comparant des paires de phrases ayant des significations similaires mais utilisant différemment l'AAE, il est devenu clair que les phrases avec des expressions AAE recevaient souvent des évaluations beaucoup plus sévères.

Par exemple, deux phrases pourraient exprimer des idées presque identiques, mais si l'une contenait des expressions AAE, il était beaucoup plus probable qu'elle soit notée comme toxique. Cela illustre encore plus les biais présents dans ces outils automatisés, indiquant un besoin de protocoles d'évaluation plus conscients du contexte.

#Discussion

Les résultats soulèvent des questions importantes sur l'équité des outils de modération de contenu automatisés. Le biais contre l'AAE limite non seulement l'expression des afro-américains mais sape aussi l'intégrité des discussions en ligne. C'est particulièrement préoccupant lorsque les outils automatisés sont utilisés pour modérer des conversations sur des plateformes de réseaux sociaux où des communautés diverses interagissent.

Bien que le biais dans les modèles d'IA soit un problème bien reconnu, il reste courant dans le contexte de l'AAE. L'étude souligne la nécessité d'une plus grande prise de conscience de ces biais, encourageant les développeurs à reconsidérer comment ils forment leurs modèles et les ensembles de données qu'ils utilisent.

#Conclusion

En conclusion, cette analyse met en lumière des biais significatifs dans la façon dont les outils d'analyse de toxicité et de sentiment automatisés évaluent l'AAE. Les résultats suggèrent que même des modèles bien développés ont du mal à évaluer avec précision une langue qui sort des normes traditionnelles.

Il y a un besoin clair de jeux de données d'entraînement plus inclusifs qui représentent mieux les riches variations de l'anglais, y compris l'AAE. En incorporant plus d'exemples divers dans la formation, nous pouvons travailler à réduire ces biais et favoriser une communication en ligne plus équitable pour tous les utilisateurs.

Améliorer la précision de ces outils est crucial, non seulement pour l'équité mais aussi pour l'objectif plus large de favoriser un espace numérique plus inclusif. À mesure que la langue continue d'évoluer, la façon dont nous développons et mettons en œuvre la technologie doit aussi s'adapter pour garantir que toutes les voix soient traitées de manière égale et juste.

#Considérations Éthiques

Comme pour toute recherche impliquant la langue et l'identité, les considérations éthiques sont essentielles. Cette étude a évité de s'appuyer sur des données démographiques auto-reported, notamment en ce qui concerne la race, pour atténuer tout biais potentiel. Au lieu de cela, l'accent est resté sur les expressions AAE elles-mêmes.

L'objectif n'est pas de condamner les outils ou les modèles d'IA, mais d'identifier les biais dans les systèmes existants. En mettant en lumière ces problèmes, les chercheurs espèrent inspirer des améliorations et encourager un dialogue plus approfondi sur l'impact de l'IA sur la vie des communautés marginalisées.

Tout terme ou expression jugé offensant n'a pas été utilisé avec une intention négative, mais plutôt pour refléter avec précision la nature de l'étude. Le but est d'améliorer la compréhension tout en promouvant un discours responsable et respectueux dans le développement et l'application de la technologie.