Perspectives des parties prenantes sur l'IA dans les services pour sans-abri

Ces dernières années, l'utilisation de l'intelligence artificielle (IA) dans les services pour les personnes sans-abri a augmenté. Pourtant, on ne sait pas grand-chose sur les pensées et préoccupations des travailleurs et des personnes directement touchées par ces technologies. Cette étude vise à découvrir ce que ces acteurs pensent d'un système d'aide à la décision basé sur l'IA, conçu pour allouer des ressources de logement limitées. En récoltant leurs avis, les chercheurs espèrent améliorer la conception et le déploiement de ces systèmes.

#Méthode de Collecte de Retours

Les chercheurs ont utilisé une méthode appelée comicboarding du cycle de vie de l'IA pour rassembler les avis des travailleurs de terrain et des personnes sans-abri. Cette méthode consiste à créer des panneaux de style bande dessinée qui décrivent différentes parties de la conception d'un système d'IA. Les participants peuvent donner leur avis sur ces panneaux, ce qui les aide à comprendre comment le système fonctionne et ce qui pourrait être amélioré.

Les retours ont été collectés auprès de trois groupes principaux : des travailleurs de comté qui utilisent le système d'IA tous les jours, des prestataires de services qui soutiennent les personnes sans-abri, et des personnes vivant ou ayant vécu l'expérience de l'itinérance. En utilisant cette approche de comicboarding, les chercheurs ont voulu encourager tous les participants à partager leurs préoccupations et suggestions sur le système d'IA.

#Le Besoin d'IA dans les Services aux Sans-Abri

L'ONU décrit l'itinérance comme un problème grave qui affecte la dignité, l'inclusion sociale, et le droit à la vie des gens. Avec plus de 1,8 milliard de personnes manquant de logement adéquat dans le monde, le problème est significatif. Rien qu'aux États-Unis, il y avait plus de 326 000 personnes vivant en situation d'itinérance abritée en une seule nuit en 2021, sans compter celles qui n'ont pas d'abri.

Des systèmes basés sur l'IA ont été introduits pour aider à prioriser les ressources de logement rares. Dans de nombreuses zones aux États-Unis, comme Los Angeles et San Francisco, de tels systèmes ont été déployés. Cependant, les parties prenantes les plus affectées par ces systèmes ont eu peu de mots à dire dans leur conception. Ce manque d'engagement soulève des inquiétudes quant à savoir si ces technologies répondent aux besoins des populations vulnérables.

#La Méthode Comicboarding du Cycle de Vie de l'IA

La méthode comicboarding du cycle de vie de l'IA décompose l'ensemble du processus de création et de déploiement d'un système d'IA en parties plus petites et gérables. Ce faisant, les chercheurs ont facilité la tâche aux participants pour fournir des retours utiles. Chaque comicboard représente un composant différent du système d'IA, comme définir des tâches, choisir des données, et déployer le système. Chaque panneau comprend des illustrations et des incitations pour encourager la discussion.

Au cours de l'étude, les participants ont été présentés avec des comicboards pour divers aspects du système d'IA. Ils ont engagé des conversations sur comment le système a été conçu, comment il fonctionne, et comment il pourrait potentiellement affecter les personnes cherchant un logement.

#Les Retours des Participants

Tout au long de l'étude, les participants ont partagé leurs pensées sur plusieurs aspects du système d'IA. Leurs retours incluaient des préoccupations sur l'objectif global du système d'IA, le choix de la conception du modèle, la Sélection des données, et le processus de déploiement.

#Préoccupations sur l'Objectif du Système d'IA

Certains participants ont remis en question l'idée même de prioriser les ressources de logement. Ils ont soutenu que tout le monde mérite un accès égal au logement, et que ce ne devrait pas être une question de priorisation. Pour beaucoup, l'accent devrait être mis sur le traitement des causes profondes de l'itinérance plutôt que de trier simplement les candidats en fonction des besoins perçus. L'idée est que si plus de ressources étaient allouées pour aider les gens avant qu'ils ne deviennent sans-abri, le problème pourrait être traité plus efficacement.

#Choix de Conception du Modèle

Une autre préoccupation soulevée était celle de la conception du modèle. Les participants ont estimé que le système pourrait optimiser les intérêts du comté plutôt que de se concentrer sur ce dont les personnes sans-abri ont réellement besoin. Ils ont exprimé des doutes sur les variables proxy que le système utilise pour mesurer les résultats, craignant que ces choix puissent mener à des évaluations trompeuses. Par exemple, s'appuyer sur les visites à l'hôpital comme mesure d'urgence pourrait prioriser injustement ceux qui sont plus visibles dans le système de santé plutôt que ceux qui en ont vraiment besoin.

#Sélection et Utilisation des Données

Les participants ont également souligné que les données utilisées pour entraîner le système d'IA pourraient ne pas refléter fidèlement les réalités de ceux qui vivent l'itinérance. Beaucoup de ceux qui ne cherchent pas de services publics à cause de mauvaises expériences passées peuvent ne pas avoir de dossiers disponibles. Cela pourrait désavantager encore plus ceux qui ont le plus besoin d'aide. De plus, les circonstances des individus peuvent changer rapidement, ce qui rend difficile pour les systèmes utilisant des données statiques de suivre la situation réelle.

#Processus de Déploiement

En discutant de la façon dont le système d'IA a été mis en œuvre, les travailleurs de terrain ont exprimé des préoccupations concernant les dommages potentiels causés par des scores incorrects attribués aux candidats. Ces travailleurs ont ressenti qu'ils devaient souvent communiquer des résultats défavorables aux individus sans comprendre comment les scores avaient été calculés. Le manque de transparence les a laissés se sentir impuissants dans leurs rôles, car ils avaient peu de capacité à plaider pour les individus lorsque le système ne reconnaissait pas leurs vulnérabilités.

#Recommandations des Participants

Sur la base de leurs expériences et des retours qu'ils ont fournis, les participants ont proposé plusieurs recommandations pour améliorer le système d'IA.

#Opportunités de Retours Continus

Beaucoup de participants ont exprimé que des sessions de retours régulières devraient être réinstaurées. Ils ont ressenti que des occasions continues de donner leur avis pourraient améliorer considérablement la conception du système. Des outils d'évaluation précédents avaient impliqué une telle engagement communautaire, mais avec le passage au système basé sur l'IA, les participants se sont sentis mis de côté.

#Renforcement de l'Engagement Humain

Les participants croyaient que les travailleurs de terrain devraient avoir l'autorité de prendre des décisions basées sur leurs interactions directes avec les individus, en utilisant le système d'IA comme un outil de soutien plutôt qu'un remplacement du jugement humain. Ils ont suggéré qu'une formation approfondie pour les travailleurs de terrain pourrait considérablement augmenter leur confiance et leur capacité à plaider pour les clients.

#Collecte de Données Complètes

Pour mieux représenter les besoins des personnes sans-abri, les participants ont souligné l'importance d'intégrer des récits qualitatifs dans le processus de collecte de données. Ils ont plaidé pour une vue plus holistique des circonstances des individus, suggérant que comprendre des histoires personnelles fournirait un contexte précieux que les chiffres seuls ne peuvent pas capturer.

#Soutien Amont et Aval

Il y avait un fort appel à des améliorations du système global entourant l'IA. Les participants ont exprimé qu'il devrait y avoir plus d'efforts pour connecter les personnes sans-abri aux services disponibles dès le départ. De plus, une fois que les individus obtiennent un logement, les plans de soins en aval doivent être adaptés à leurs besoins spécifiques pour garantir une stabilité à long terme.

#Conclusion

L'étude met en lumière le rôle vital que jouent les parties prenantes-en particulier celles les plus touchées-dans la conception et le déploiement de systèmes d'IA dans les services aux sans-abri. En utilisant la méthode comicboarding du cycle de vie de l'IA, les chercheurs ont réussi à rassembler des avis riches de la part de travailleurs de terrain et de personnes sans-abri.

Les participants ont démontré qu'ils ont des retours et des idées précieuses pour améliorer le système, malgré le scepticisme initial des fonctionnaires du comté concernant leur capacité à contribuer de manière significative. Au final, les résultats soulignent l'importance de l'inclusion et de la transparence dans le développement de systèmes d'IA destinés à soutenir les populations vulnérables. Les futurs efforts devraient prioriser l'implication communautaire, considérer les données qualitatives, et aborder les systèmes sociotechniques plus larges impliqués dans l'allocation de logement.