Évaluer l'équité dans la prise de décision par l'IA

L'intelligence artificielle (IA) et l'apprentissage automatique (AA) se répandent dans plein d'aspects de la vie, influençant des décisions importantes comme l'approbation de prêts, les candidatures d'emploi, et l'accès aux soins de santé. Mais cette utilisation de la tech peut parfois entraîner un traitement inéquitable de certains groupes. Y'a des lois et des régulations pour protéger contre ce genre de discrimination, mais la montée de l'IA peut poser de nouveaux problèmes. Cet article examine comment mesurer si les systèmes d'IA prennent des décisions justes, surtout quand des aspects sensibles comme la race ou le genre ne sont pas directement pris en compte dans le processus décisionnel.

#Contexte

Les chercheurs ont analysé comment définir l'équité en IA et comment détecter des décisions biaisées. Beaucoup de méthodes existantes se concentrent sur l'analyse de l'impact des informations sensibles sur les résultats. Elles partent du principe que certains groupes, comme ceux définis par la race ou le genre, ne devraient pas être traités différemment. Pourtant, certains algorithmes peuvent toujours aboutir à des résultats biaisés même sans inclure d'attributs sensibles. C'est parce que d'autres caractéristiques des données peuvent servir de substituts à l'information sensible omise.

Pour y remédier, on propose une nouvelle approche pour évaluer l'équité en utilisant une méthode appelée raisonnement contrefactuel. Grosso modo, les contrefactuels se demandent ce qui se passerait si les choses étaient différentes-si quelqu'un d'un certain groupe avait eu un résultat différent. Par exemple, si une femme s'est vue refuser un prêt, on pourrait envisager ce qui se passerait si elle avait les caractéristiques d'un homme à qui le prêt a été accordé. Ça nous permet de voir si des biais existent même sans utiliser d'informations sensibles.

#Définitions de l'équité

Ces dernières années, plusieurs définitions d'équité ont émergé, reflétant différentes philosophies et contextes légaux. Certaines de ces définitions incluent :

• Équité sous ignorance : Ça dit que si un algorithme n'utilise pas d'informations sensibles, il peut quand même être jugé équitable.
• Impact Disparate : Ça se concentre sur la question de savoir si les résultats affectent de façon disproportionnée un certain groupe.
• Équité individuelle : L'idée que des individus similaires devraient recevoir des résultats similaires.

Chaque définition offre un angle différent pour analyser le concept d'équité, et la difficulté réside dans le fait qu'améliorer l'équité dans un domaine pourrait entraîner des injustices dans un autre.

#Opportunité équitable contrefactuelle

Le but de cet article est de présenter un nouveau cadre appelé Opportunité Équitable Contrefactuelle. Ce cadre cherche à déterminer si un modèle peut encore produire des résultats biaisés sans utiliser d'informations sensibles.

On introduit deux nouveaux indicateurs conçus pour analyser comment les informations sensibles apparaissent dans des échantillons contrefactuels. Le premier indicateur, appelé Contrefaits Flips (CFlips), examine le pourcentage de cas contrefactuels qui changent d'appartenance à un groupe sensible. Le deuxième indicateur, l'Équité Contrefactuelle Cumulative Normalisée et Décalée (nDCCF), donne la priorité aux contrefactuels qui restent dans le même groupe sensible que le point de données d'origine.

#Méthodologie

Pour appliquer cette approche, on commence par sélectionner des ensembles de données connus pour les tests. Ces ensembles contiennent diverses caractéristiques, et on se concentre sur les attributs sensibles comme le genre et la race, tout en les omettant intentionnellement du processus décisionnel.

Le processus implique :

1. Former un modèle de prise de décision qui n'utilise pas de caractéristiques sensibles.
2. Identifier les cas où le modèle fait une prédiction négative (par ex., refus de prêt).
3. Générer des échantillons contrefactuels qui pourraient mener à un résultat positif si certaines caractéristiques sont modifiées.

Ça permet d'examiner si le modèle de prise de décision est biaisé malgré l'absence de caractéristiques sensibles. Les résultats aident à identifier des comportements discriminatoires.

#Configuration expérimentale

Pour valider notre approche, on a testé trois ensembles de données :

1. Adult : Cet ensemble concerne la prédiction de revenus et inclut des caractéristiques comme le genre et l'état civil.
2. Crime : Cet ensemble prédit si un État est violent et inclut la race comme attribut sensible.
3. German : Cet ensemble se concentre sur la probabilité qu'une personne fasse défaut sur un prêt, avec le genre et l'âge comme attributs examinés.

On a formé différents modèles avec ces ensembles, y compris la régression logistique, les forêts aléatoires, et XGBoost, entre autres.

#Générateur de contrefaits

Dans nos expériences, les contrefactuels ont été générés à l'aide d'un outil agnostique au modèle. Cet outil aide à créer des échantillons contrefactuels divers et réalistes, permettant de tester comment le modèle de prise de décision se comporte dans divers scénarios.

#Classificateur d'attributs sensibles

Une partie cruciale de notre évaluation est le Classificateur d'Attributs Sensibles, qui prédit les attributs sensibles en fonction des informations disponibles. Ce classificateur doit être fiable pour s'assurer que les métriques qu'on utilise pour mesurer l'équité sont précises.

#Résultats

On a évalué la performance des modèles sur la base de métriques de précision traditionnelles, mais l'accent était principalement mis sur les métriques d'équité. Nos découvertes révèlent des informations essentielles :

1. Classificateurs d'attributs sensibles : Ces classificateurs se sont généralement bien comportés sur les ensembles de données, suggérant qu'ils peuvent déduire des informations sensibles à partir d'autres caractéristiques. Les modèles incluant des caractéristiques sensibles ont souvent mieux performé que ceux qui n'en avaient pas.

2. Métriques d'équité : En analysant l'équité, il est devenu clair que même lorsque les informations sensibles étaient omises, certains modèles montraient toujours des signes de biais. Les métriques Contrefaits Flips et nDCCF ont mis en lumière des problèmes de discrimination, montrant que les modèles pouvaient déduire des attributs sensibles à partir d'autres caractéristiques.

#Discussion

Les résultats de l'étude suggèrent que l'Équité sous Ignorance n'est pas complètement efficace pour prévenir la discrimination. Lorsque les caractéristiques sensibles sont retirées, les algorithmes montrent encore des comportements biaisés à cause d'autres caractéristiques agissant comme substituts.

Le raisonnement contrefactuel s'avère être un outil puissant pour identifier ces biais. Cela permet d'examiner comment des changements dans les données pourraient influencer les résultats décisionnels, offrant des perspectives sur le processus de décision sous-jacent des algorithmes.

#Conclusion

Cette étude introduit une nouvelle méthodologie pour évaluer les biais dans les modèles de décision, surtout quand des caractéristiques sensibles ne sont pas utilisées. Le cadre Opportunité Équitable Contrefactuelle et les nouvelles métriques qu'on a développées servent d'outils pour détecter des comportements injustes dans les modèles. Les résultats indiquent que les algorithmes de décision peuvent encore produire des résultats biaisés même sans utiliser de données sensibles, renforçant l'importance de mener des études supplémentaires dans ce domaine pour améliorer l'équité dans les systèmes d'IA.

En utilisant le raisonnement contrefactuel, on peut mieux comprendre comment certains attributs influencent les résultats et faire les ajustements nécessaires pour créer des systèmes d'IA plus équitables qui ne discriminent pas involontairement certains groupes.