Aborder l'équité dans l'apprentissage automatique avec des données manquantes

De nos jours, l'apprentissage automatique est de plus en plus utilisé dans divers domaines, comme la finance, la santé et la justice pénale. Mais vu que ces systèmes prennent des décisions importantes pour la vie des gens, la justice dans ces algorithmes est super importante. La justice, c'est l'idée que les algorithmes devraient traiter les différents groupes Démographiques de manière égale, sans biais. Mais que se passe-t-il quand on n'a pas toutes les infos démographiques sur les individus ? Cette situation, on l'appelle un "régime de rareté démographique."

Quand les chercheurs étudient la justice, ils partent du principe qu'ils ont accès à toutes les données démographiques, ce qui n'est pas toujours vrai. Parfois, les données ne sont pas disponibles à cause de soucis de confidentialité, de restrictions légales, ou simplement parce qu'elles n'ont pas été collectées. Ce manque d'infos démographiques rend difficile de savoir si un algorithme traite bien les différents groupes.

#The Challenge of Missing Data

Quand les infos démographiques manquent, c'est compliqué de mesurer et d'assurer la justice. Par exemple, imaginons qu'on veuille voir si le processus de demande de prêt est juste entre les groupes raciaux ou de genre. Si on n'a pas les données raciales ou de genre pour tous les candidats, on ne peut pas être sûr que l'algorithme traite ces groupes de manière équitable.

Les chercheurs ont découvert qu'une façon de gérer ce problème, c'est d'entraîner un classificateur d'attributs - un type de modèle qui apprend à prédire des attributs sensibles comme la race ou le genre à partir d'autres infos disponibles. Ça nous permettrait de créer un "Proxy" pour combler les données démographiques manquantes. Cependant, se fier à ces attributs proxy peut mener à une justice et une précision moindres par rapport à l'utilisation d'attributs démographiques réels.

#Our Proposed Framework

Pour améliorer les compromis entre justice et précision en utilisant des données proxy, on propose un nouveau cadre. Notre méthode se concentre sur l'incorporation de la conscience de l'Incertitude dans le classificateur d'attributs. En gros, on veut que le modèle soit conscient de son niveau de confiance sur ses prédictions concernant les infos démographiques manquantes.

L'idée clé de notre cadre, c'est que quand le modèle n'est pas sûr d'une prédiction, imposer la justice pourrait nuire à la fois à la justice et à la précision. Donc, on suggère que les contraintes de justice ne devraient être appliquées qu'aux échantillons où l'info démographique est prédite avec une haute confiance.

#The Process

Notre cadre se compose de deux phases principales.

1. Entraînement du classificateur d'attributs : Dans la première phase, on crée un modèle pour prédire les infos démographiques manquantes. Ce modèle utilise des techniques pour évaluer à quel point il est certain ou incertain de ses prédictions. L'incertitude est améliorée pendant l'entraînement grâce à une méthode appelée Monte Carlo dropout, qui aide à estimer la variabilité des prédictions.

2. Entraînement du classificateur de labels : Dans la deuxième phase, on entraîne le classificateur principal qui fait des prédictions relatives à la variable cible (par exemple, si quelqu'un devrait recevoir un prêt). Il est important de préciser qu'on impose les contraintes de justice uniquement sur les échantillons où l'info démographique a été prédite avec une faible incertitude.

#Results and Findings

Pour valider notre cadre, on a mené des expériences sur deux ensembles de données largement utilisés : le dataset sur les revenus des adultes et le dataset Compas. Ces datasets ont été utilisés pour évaluer le biais et la justice dans l'apprentissage automatique.

Nos résultats ont montré que les méthodes existantes pour améliorer la justice s'adaptent bien au bruit introduit lorsqu'on utilise des attributs sensibles proxy au lieu des vrais attributs sensibles. Ça veut dire que notre cadre proposé peut toujours fonctionner efficacement, même quand on se base sur des prédictions imparfaites.

On a aussi découvert que les échantillons prédits avec une forte incertitude ont tendance à dégrader l'équilibre justice-précision. Du coup, notre méthode fonctionne mieux quand les contraintes de justice sont appliquées uniquement sur les échantillons prédits avec une faible incertitude.

#The Importance of Uncertainty

Le concept d'incertitude joue un rôle crucial dans notre cadre. Ça nous aide à comprendre quand appliquer les contraintes de justice. Quand un modèle est incertain, essayer d'imposer la justice peut mener à des résultats moins bons. C'est parce que le modèle pourrait faire des suppositions incorrectes sur les attributs démographiques, ce qui pourrait fausser sa prise de décision.

En se concentrant sur les échantillons avec des prédictions fiables, on peut maintenir un meilleur équilibre entre la justice et la précision. Cette approche produit des modèles qui non seulement fonctionnent mieux mais montrent aussi des caractéristiques de justice améliorées.

#Comparison with Other Methods

Dans nos expériences, on a comparé notre cadre avec plusieurs méthodes de référence, y compris :

• Attribut sensible de vérité absolue : Cette base part du principe que le vrai attribut sensible est entièrement disponible et mesure le niveau de performance optimal.

• Proxy-KNN : Cette approche dérive des attributs sensibles manquants des k-plus proches voisins d'échantillons contenant des attributs sensibles.

• Proxy-DNN : Dans ce cas, un réseau de neurones profond est entraîné pour prédire des attributs sensibles sans prendre en compte l'incertitude.

Notre cadre a systématiquement surpassé ces méthodes de référence sur tous les datasets et métriques de justice. Ça montre que notre méthode peut atteindre un meilleur compromis entre précision et justice par rapport aux méthodes traditionnelles qui ne tiennent pas compte de l'incertitude.

#Fairness Metrics

Pour évaluer la performance de notre cadre, on a considéré trois métriques de justice populaires :

• Parité démographique : Cette métrique exige que les résultats prédits soient indépendants des attributs sensibles.

• Cotes égalisées : Cette métrique impose que les taux de vrais positifs et les taux de faux positifs soient égaux entre différents groupes démographiques.

• Égalité des opportunités : Celle-ci se concentre uniquement sur l'égalisation des taux de vrais positifs entre différents groupes démographiques.

Chacune de ces métriques a été évaluée pour mesurer comment notre cadre performait en termes de justice.

#Conclusion

En résumé, notre cadre proposé fait une contribution significative au domaine de la justice dans l'apprentissage automatique, surtout quand on traite avec des infos démographiques limitées. On a mis en avant l'importance de l'incertitude dans les prédictions et montré que notre méthode peut produire des modèles plus justes et plus précis par rapport à d'autres approches. En se concentrant sur les échantillons avec des prédictions fiables, on peut améliorer l'équilibre justice-précision, rendant nos méthodes applicables dans des scénarios réels où les données démographiques complètes sont souvent inaccessibles.

Les travaux futurs se concentreront sur l'affinement du compromis entre justice et précision en intégrant des techniques avancées dans l'entraînement des classificateurs d'attributs. On espère fournir des outils pratiques pour garantir la justice dans les systèmes d'apprentissage automatique qui impactent la vie des gens.