Transparence dans la prise de décision algorithmique
Examiner la nécessité d'explications claires dans les décisions algorithmiques.
― 6 min lire
Table des matières
L'utilisation des algorithmes pour prendre des décisions importantes, comme l'embauche ou l'octroi d'accès à des services, est en pleine expansion. Mais comment ces algorithmes fonctionnent et l'équité de leurs décisions sont souvent remises en question. Les gens veulent comprendre non seulement le résultat de ces décisions, mais aussi comment ces résultats ont été atteints. C'est là que les explications entrent en jeu.
Le Besoin d'Explications
Quand les gens reçoivent des décisions prises par des algorithmes, ils ne se soucient pas juste des résultats. Ils se soucient du processus qui a conduit à ces résultats. Par exemple, si quelqu'un se voit refuser un emploi par un algorithme, il veut savoir pourquoi cette décision a été prise. Est-ce que c'était sur des critères justes ? Y avait-il des biais dans le processus de tri ? Avoir des explications claires aide les gens à voir si les décisions sont justes ou s'ils ont peut-être été traités injustement.
Perceptions de l'Équité
Les perceptions de l'équité sont comment les gens ressentent l'équité d'une décision. La recherche montre que si une décision est bien expliquée, les gens sont plus susceptibles de la considérer comme juste. C'est particulièrement important dans des domaines qui impactent la vie des gens, comme l'emploi et l'éducation. Si les gens pensent qu'une décision est juste, ils sont généralement plus enclins à l'accepter, même s'ils n'aiment pas le résultat.
Défi des Explications Actuelles
La plupart des recherches existantes ont traité les explications comme une simple solution technique. Elles regardent le résultat mais ignorent les processus qui ont conduit à la décision. Les gens veulent connaître le raisonnement derrière les décisions de l'algorithme. Par exemple, si un prêt est refusé, une explication simple sur les critères ne suffit pas. Les gens veulent aussi comprendre le contexte plus large et les choix faits lors de la création de l'algorithme lui-même.
Contestabilité dans les Décisions Algorithmiques
La contestabilité fait référence à la capacité des individus à remettre en question et à contester une décision prise par un algorithme. C'est garantir que les gens ont une voix dans le processus de décision. Si une décision peut être contestée, cela ajoute une couche supplémentaire d'équité. Quand les gens peuvent poser des questions ou faire appel à une décision, ils se sentent plus autonomes.
Importance des Explications Axées sur le Processus
Les explications axées sur le processus donnent un aperçu du processus décisionnel derrière les algorithmes. Elles vont au-delà de dire ce qui s'est passé ; elles expliquent comment et pourquoi certains choix ont été faits lors du développement de l'algorithme. Ce type d'explication est crucial pour la contestabilité, rendant plus facile pour les individus de contester des décisions qu'ils estiment injustes.
Exemples de Choix Discrétionnaires
Lors de la création d'un algorithme, de nombreuses décisions subjectives sont prises, souvent sans pleine transparence. Par exemple, décider quelles données inclure ou exclure peut avoir un impact significatif sur les résultats. Ces choix discrétionnaires peuvent mener à des biais et à des résultats injustes. En documentant et en expliquant ces choix, on aide à clarifier comment l'algorithme fonctionne et pourquoi il se comporte de certaines manières.
Générer des Explications Axées sur le Processus
Pour créer des explications efficaces axées sur le processus, certaines étapes doivent être suivies. Cela nécessite de documenter le raisonnement derrière les choix faits lors de la création d'un algorithme. Ces informations doivent être accessibles et claires, adaptées aux personnes qui pourraient vouloir contester une décision.
Défis dans la Création d'Explications
Il y a plusieurs défis quand il s'agit de générer ces explications :
Conscience parmi les Praticiens : Les personnes qui créent des algorithmes ont souvent besoin d'une meilleure conscience de l'impact de leurs choix. Elles ne réalisent peut-être pas entièrement comment leurs décisions peuvent mener à des biais ou des résultats injustes.
Infrastructure Technique : Les développeurs ont besoin d'outils et de systèmes en place qui leur permettent de suivre leurs choix et les impacts potentiels de ces choix. Cela pourrait inclure des moyens d'analyser des données ou de suivre les processus de décision.
Formation et Orientation : Les praticiens devraient recevoir une formation sur comment réfléchir à leurs décisions et aux conséquences potentielles. Cela pourrait inclure des exemples pratiques qui montrent l'importance de la réflexivité.
Pratiques Collaboratives
Bien que la conscience individuelle soit cruciale, la collaboration entre équipes est également importante. Différents acteurs doivent travailler ensemble pour partager des idées et des réflexions sur les choix qui sont faits. Cette collaboration peut mener à de meilleurs processus décisionnels et à des résultats plus équitables.
Évaluation des Explications Axées sur le Processus
Après que ces explications aient été générées, il est essentiel d'évaluer leur efficacité. Cela peut aider à identifier si les explications aident réellement à la contestabilité et améliorent les perceptions d'équité.
Création de Protocoles d'Évaluation
Des protocoles d'évaluation efficaces peuvent être développés pour s'assurer que les explications sont claires, pertinentes et utiles pour la contestation. Ces protocoles devraient permettre des mises à jour itératives des explications basées sur des retours. Cela garde l'information pertinente et améliore le processus global de prise de décision.
Présentation des Informations
La manière dont l'information est présentée est tout aussi importante. Les explications axées sur le processus doivent être conviviales et répondre aux besoins des individus qui pourraient vouloir contester des décisions. L'objectif est de donner à ces individus les connaissances dont ils ont besoin pour s'engager dans des dialogues significatifs sur les décisions prises par les algorithmes.
Conclusion
Avec la prise de décision algorithmique qui devient plus courante, garantir l'équité et la transparence est vital. Les explications axées sur le processus jouent un rôle crucial pour aider les gens à comprendre les décisions prises par les algorithmes. En se concentrant sur les processus derrière ces décisions et en permettant la contestabilité, on peut construire un système plus équitable qui non seulement fournit des informations mais aussi donne du pouvoir aux individus. Cette approche améliore non seulement les perceptions d'équité, mais favorise aussi la confiance dans les systèmes algorithmiques, contribuant finalement à une société plus juste et inclusive.
Titre: Generating Process-Centric Explanations to Enable Contestability in Algorithmic Decision-Making: Challenges and Opportunities
Résumé: Human-AI decision making is becoming increasingly ubiquitous, and explanations have been proposed to facilitate better Human-AI interactions. Recent research has investigated the positive impact of explanations on decision subjects' fairness perceptions in algorithmic decision-making. Despite these advances, most studies have captured the effect of explanations in isolation, considering explanations as ends in themselves, and reducing them to technical solutions provided through XAI methodologies. In this vision paper, we argue that the effect of explanations on fairness perceptions should rather be captured in relation to decision subjects' right to contest such decisions. Since contestable AI systems are open to human intervention throughout their lifecycle, contestability requires explanations that go beyond outcomes and also capture the rationales that led to the development and deployment of the algorithmic system in the first place. We refer to such explanations as process-centric explanations. In this work, we introduce the notion of process-centric explanations and describe some of the main challenges and research opportunities for generating and evaluating such explanations.
Auteurs: Mireia Yurrita, Agathe Balayn, Ujwal Gadiraju
Dernière mise à jour: 2023-05-01 00:00:00
Langue: English
Source URL: https://arxiv.org/abs/2305.00739
Source PDF: https://arxiv.org/pdf/2305.00739
Licence: https://creativecommons.org/licenses/by/4.0/
Changements: Ce résumé a été créé avec l'aide de l'IA et peut contenir des inexactitudes. Pour obtenir des informations précises, veuillez vous référer aux documents sources originaux dont les liens figurent ici.
Merci à arxiv pour l'utilisation de son interopérabilité en libre accès.