Comprendre les systèmes de recommandations d'emploi : une approche centrée sur l'utilisateur

Droit d'auteur pour cet article par ses auteurs. Utilisation permise sous la licence Creative Commons Attribution 4.0 International (CC BY 4.0).

#Introduction

Les systèmes de recommandation d'emploi (SRE) sont des outils utilisés pour associer les demandeurs d'emploi avec des offres d'emploi. Ces systèmes peuvent vraiment influencer les décisions des chercheurs d'emploi, des recruteurs et des entreprises. À cause de leur potentiel à impacter les carrières des gens et des données sensibles qu'ils gèrent, il y a de nouvelles régulations qui exigent que ces systèmes soient fiables et clairs sur la façon dont ils font leurs recommandations. Il est important que les utilisateurs sachent pourquoi certains emplois leur sont suggérés, ce qui signifie qu'on doit comprendre ce que différents utilisateurs attendent de ces systèmes.

Pour découvrir quels sont ces besoins, on a étudié un système de recommandation d'emploi explicable. Dans notre recherche, on a impliqué différents acteurs qui prenaient des décisions basées sur les explications que le système fournissait. On a utilisé diverses méthodes pour recueillir des informations, y compris mesurer la précision et l'efficacité des décisions, ainsi que le niveau de confiance, de compréhension et d'utilité des informations pour les acteurs. Chaque participant a expérimenté le système deux fois : une fois avec de vraies explications et une fois avec des explications aléatoires. On a aussi mené des interviews pendant que les participants utilisaient le système pour recueillir leurs pensées en temps réel.

Nos résultats suggèrent que fournir simplement de vraies explications ne fait pas vraiment accélérer la Prise de décision ou améliorer la précision. Cependant, il y a une légère tendance à montrer que les vraies explications étaient perçues comme plus dignes de confiance et utiles par les participants. La leçon clé est que les acteurs bénéficient plus d'explications qui soutiennent leur prise de décision plutôt que de simplement essayer de les convaincre de la justesse du système.

#Importance de l'explicabilité dans les recommandations d'emploi

Les systèmes de recommandation d'emploi sont utilisés dans beaucoup d'aspects de la vie aujourd'hui. Ils aident les gens à postuler pour des emplois et aident les entreprises à trouver des candidats adéquats. Compter uniquement sur ces systèmes pour prendre des décisions importantes peut être risqué. Donc, il y a un besoin croissant d'intelligence artificielle explicable (XAI) dans le domaine des recommandations d'emploi. L'objectif ici est de s'assurer que les utilisateurs comprennent clairement comment les décisions sont prises.

La plupart des recherches sur la XAI se sont concentrées sur l'aide aux développeurs ou aux utilisateurs qui ont déjà une bonne compréhension de l'IA. Cette approche ne correspond pas à la plupart des utilisateurs, qui peuvent ne pas avoir de bagage technique. Ce manque met en évidence la nécessité de créer des explications qui soient facilement comprises par tous, peu importe leur expertise.

Dans le contexte des systèmes de recommandation d'emploi, il y a trois principaux types d'utilisateurs : les chercheurs d'emploi à la recherche d'emplois, les recruteurs cherchant à associer des candidats à des offres d'emploi, et les représentants d'entreprise impliqués dans les décisions de recrutement. Chaque groupe a des tâches différentes et donc des besoins différents en ce qui concerne les explications. Des études précédentes ont examiné les préférences de ces groupes concernant différents types d'explications, comme les formats textuels, en barres, et graphiques. Notre recherche vise à découvrir à quel point ces explications aident les différents utilisateurs dans leur travail quotidien.

#Questions de recherche

Pour explorer l'impact des différents types d'explications sur les acteurs, on a décidé de répondre à la question principale suivante :

RQ : Comment les différents types d'explications aident-ils les utilisateurs des systèmes de recommandation d'emploi dans leurs tâches quotidiennes ?

Pour aller plus loin, on a décomposé cela en plusieurs questions spécifiques.

#Méthodologie

On a réalisé une étude utilisateur avec une conception mixte qui incluait des participants de tous les trois groupes d'acteurs. Pendant l'étude, ils ont interagi avec un système de recommandation d'emploi qui leur permettait de choisir et de voir différents types d'explications, ou de regarder toutes les explications à la fois.

Notre étude a produit des informations précieuses. Les trois groupes ont trouvé que les explications fournies par le système étaient bénéfiques. Cependant, beaucoup s'appuyaient encore sur leurs connaissances personnelles et leur intuition lors de la prise de décision, souvent en négligeant les explications fournies ou en les interprétant d'une manière différente de celle que le système avait prévue.

À travers notre analyse, on a découvert que les candidats et les recruteurs préféraient les explications textuelles, tandis que les représentants d'entreprise étaient plus enclins à utiliser des explications visuelles. Tous les groupes étaient d'accord pour dire qu'améliorer les explications pour les relier directement à des CV ou des offres d'emploi spécifiques serait utile. Cela signifie qu'être clair sur les caractéristiques qui ont aidé ou entravé la recommandation minimiserait les malentendus.

#Recherche connexe et contexte

L'Union européenne considère l'utilisation de l'IA dans le recrutement comme un scénario à haut risque en raison des implications significatives qu'elle peut avoir sur la vie des individus. Les systèmes de recommandation d'emploi doivent être approchés avec précaution, surtout parce qu'ils traitent des données personnelles sensibles.

Une grande partie des recherches existantes sur l'explicabilité dans les recommandations d'emploi a tendance à se concentrer soit sur les développeurs, soit sur un groupe d'acteurs, laissant les besoins des autres utilisateurs non abordés. De plus, les études précédentes s'appuyaient souvent sur des preuves anecdotiques plutôt que d'évaluer systématiquement la qualité des explications.

#Explicabilité pour les utilisateurs non avertis

Pour les utilisateurs ayant des connaissances limitées en IA, il est essentiel de présenter des explications claires et simples. Bien que certaines méthodes d'explicabilité puissent sembler utiles pour les experts en IA, elles peuvent être trompeuses et déroutantes pour ceux qui ne sont pas familiers avec la technologie. Des recherches ont montré que la plupart des utilisateurs non avertis préfèrent des explications textuelles même si elles peuvent demander plus de temps à traiter.

Les explications visuelles peuvent fournir des informations détaillées mais ne sont pas accessibles à tous les utilisateurs. Notre étude a examiné si une combinaison de types d'explications mènerait à une meilleure compréhension et prise de décision pour différents acteurs.

#Conception de l'étude utilisateur

Dans notre étude, on a voulu recueillir des retours approfondis d'utilisateurs pour mieux comprendre leurs préférences. On a conçu un environnement où les participants accomplissaient des tâches représentatives de leurs activités quotidiennes, comme associer des candidats à des offres d'emploi ou trouver des emplois appropriés pour eux-mêmes.

Au total, 30 participants ont pris part, avec 10 individus de chaque groupe d'acteurs. Ils ont été recrutés par divers canaux pour assurer une diversité de parcours.

#Procédure de l'expérience

Les participants ont interagi avec le système de recommandation d'emploi et avaient la possibilité de voir différents types d'explications et de recommandations. Ils ont pu avancer à leur propre rythme, ce qui nous a aidés à recueillir des informations authentiques sur la manière dont ils interagissaient avec le système.

Pendant l'expérience, on a enregistré des données quantitatives et qualitatives. Après chaque tâche, les participants ont évalué différents aspects du système, comme la confiance et l'utilité des explications.

#Résultats

#Efficacité de la prise de décision

Dans l'ensemble, on a constaté qu'il y avait peu de différence dans la rapidité de prise de décision ou la précision entre les vraies et les explications aléatoires. La plupart des participants étaient capables de prendre des décisions rapidement en s'appuyant sur leurs propres connaissances plutôt qu'en s'engageant avec les inputs du système.

En termes de transparence, les utilisateurs avaient du mal à voir des différences significatives parce qu'ils se voyaient présenter la même liste de recommandations dans les deux scénarios. Cependant, les participants qui faisaient souvent référence à des explications graphiques ont rapporté qu'ils trouvaient de vraies explications légèrement plus faciles à comprendre en ce qui concerne la manière dont le système avait fait ses recommandations.

#Confiance et utilité

Les participants ont classé les vraies explications comme légèrement plus dignes de confiance et utiles. Pourtant, la différence n'était pas assez significative sur le plan statistique. Certains utilisateurs ont exprimé de la confusion lorsque les explications faisaient référence aux expériences d'autres candidats, ce qui a finalement affecté leur confiance dans le système.

#Préférences pour différents types d'explications

Les candidats et les recruteurs ont clairement montré une préférence pour les explications textuelles, tandis que les représentants d'entreprise trouvaient les visualisations plus utiles. Les représentants d'entreprise familiers avec les graphiques pouvaient apprécier leur utilité, mais d'autres avaient du mal à décoder l'information présentée visuellement.

La conclusion générale était que les utilisateurs trouvaient les explications utiles mais les considéraient principalement comme un outil complémentaire plutôt qu'un élément central de leur processus décisionnel.

#Suggestions d'amélioration

Les utilisateurs ont exprimé le souhait d'avoir des explications qui établissent des liens plus directs avec des exigences spécifiques des emplois ou des expériences des candidats. Ce retour d'information indique un besoin d'explications qui non seulement énoncent les caractéristiques pertinentes mais montrent aussi explicitement comment elles contribuent à une recommandation.

Les participants ont souvent mentionné que se fier uniquement aux explications fournies était insuffisant pour prendre des décisions finales. Ils ont apprécié d'avoir les outils, mais estimaient qu'ils devaient vérifier ou explorer les recommandations plus en profondeur avant de se sentir confiants dans leurs choix.

#Considérations éthiques

Étant donné les enjeux élevés impliqués dans les recommandations d'emploi, les considérations éthiques sont cruciales. Il est important de s'assurer qu'il y a toujours un décideur humain impliqué dans l'interprétation des recommandations fournies par le système. Cela aide à apaiser les craintes des recruteurs concernant le potentiel de remplacement d'emplois par les technologies IA.

Sans supervision humaine, il y a un risque que le système puisse conduire à des résultats biaisés ou erronés. La recherche continue devrait se concentrer sur la façon dont l'IA peut soutenir les recruteurs sans prendre complètement leurs rôles.

#Limitations et directions futures

Bien que notre étude ait fourni des informations précieuses, elle avait ses limitations. Par exemple, les explications générées pour les tâches étaient basées sur un ensemble de données qui pourrait ne pas avoir pleinement englobé la complexité des interactions du monde réel. De futures recherches devraient explorer différents modèles pour générer des explications plus nuancées qui peuvent mieux répondre aux besoins variés des utilisateurs.

Un autre aspect qui pourrait améliorer les études futures est d'incorporer plus d'interactivité dans les processus d'explication. Permettre aux utilisateurs de sélectionner quels aspects des recommandations ils souhaitent explorer davantage pourrait aider à gérer la surcharge d'informations tout en rendant l'interaction plus personnalisée.

#Conclusion

Notre recherche met en lumière l'importance d'expliquer comment les systèmes de recommandation d'emploi arrivent à leurs suggestions. Différents acteurs ont des préférences et des exigences uniques, et les explications qui cherchent simplement à persuader les utilisateurs sont moins efficaces que celles conçues pour soutenir la prise de décision. En priorisant la clarté et les besoins des utilisateurs, on peut s'assurer que ces systèmes remplissent leur objectif sans compromettre la confiance ou l'efficacité.

Le parcours pour créer des systèmes de recommandation d'emploi conviviaux et explicables est en cours, et les informations tirées de cette recherche peuvent fournir des orientations essentielles pour de futurs développements dans ce domaine.