Faire confiance à l'IA dans la santé : une réalité risquée
Une étude révèle les dangers de faire confiance aux conseils médicaux générés par l'IA plutôt qu'à ceux des médecins humains.
― 8 min lire
Table des matières
- Aperçu de l'Étude
- Capacité des Participants à Distinguer les Sources
- Le Rôle de la Source dans la Perception
- Évaluations des Réponses de l'IA versus Réponses des Médecins
- Les Dangers de la Désinformation
- Implications pour la Santé
- Évaluations des Réponses de l'IA par des Experts
- Besoin de Poursuivre les Recherches
- Soutenir l'Utilisation Responsable de l'IA
- Conclusion
- Source originale
- Liens de référence
Ces dernières années, l'utilisation de l'intelligence artificielle (IA) dans le secteur de la santé a explosé. De plus en plus de gens se tournent vers des sources en ligne pour des conseils médicaux, surtout pendant des périodes comme la pandémie de COVID-19, quand il était difficile d'avoir des consultations en personne. Cependant, beaucoup de gens ont tendance à faire autant, voire plus, confiance aux conseils médicaux générés par l'IA qu'à ceux des médecins humains. Cette confiance soulève des inquiétudes, surtout quand les Réponses générées par l'IA ne sont pas toujours précises.
Aperçu de l'Étude
Cette étude a examiné comment les gens perçoivent et évaluent les conseils médicaux générés par l'IA par rapport à ceux des médecins réels. Au total, 300 personnes ont participé à l'étude. On leur a demandé de passer en revue des réponses à des questions médicales provenant de deux sources : des réponses rédigées par des médecins et des réponses de l'IA qui avaient été évaluées pour leur Précision par des médecins.
L'objectif de l'étude était de déterminer si les participants pouvaient faire la différence entre les réponses générées par l'IA et celles des médecins. Elle visait également à évaluer à quel point les réponses étaient jugées valides, fiables et satisfaisantes, et comment la source de la réponse influençait l'avis des participants.
Capacité des Participants à Distinguer les Sources
Les résultats ont révélé une réalité préoccupante : les participants avaient du mal à faire la différence entre les réponses de l'IA et celles des vrais médecins. Ils avaient un taux de précision d'environ 50 % en essayant d'identifier la source des informations, ce qui signifie qu'ils avaient autant de chances de se tromper que de deviner juste. Cela était vrai aussi bien pour les réponses de haute précision que pour celles de faible précision.
De plus, les participants avaient tendance à évaluer les réponses générées par l'IA comme étant significativement plus valides, fiables et satisfaisantes, même quand ces réponses n'étaient pas précises. Ils exprimaient souvent une plus grande probabilité de suivre les conseils donnés par l'IA, ce qui pourrait mener à des conséquences néfastes.
Le Rôle de la Source dans la Perception
Quand on disait aux participants qu'une réponse venait d'un médecin, ils évaluaient encore plus positivement les réponses de haute précision de l'IA. En gros, le label "médecin" semblait augmenter la confiance dans les conseils, même quand ces conseils étaient générés par l'IA. Cela indique que le simple fait de suggérer qu'un médecin fournit l'information peut grandement influencer la façon dont les gens perçoivent et évaluent la réponse.
D'un autre côté, lorsque des réponses de faible précision générées par l'IA étaient étiquetées comme venant d'un médecin, elles étaient toujours considérées comme valides et fiables malgré leur manque de Fiabilité. Cela soulève de sérieuses inquiétudes quant à la confiance accordée aux réponses générées par l'IA sans un contrôle approfondi.
Évaluations des Réponses de l'IA versus Réponses des Médecins
Dans l'étude, les participants ont effectué trois expériences différentes, comparant leurs évaluations des réponses des médecins avec celles générées par l'IA, tant qu'ils connaissaient que non la source. Les résultats clés incluaient :
Compréhension : Les participants ont rapporté une meilleure compréhension des réponses générées par l'IA par rapport à celles des médecins, peu importe si la réponse de l'IA était de haute ou de faible précision.
Fiabilité et Satisfaction : Les réponses de haute précision de l'IA ont obtenu des scores plus élevés en termes de fiabilité et de satisfaction que celles des médecins. Étonnamment, les réponses de faible précision ont eu des performances similaires à celles des médecins.
Tendance à Suivre les Conseils : Les participants avaient une forte tendance à suivre les conseils donnés, peu importe la source de la réponse. Ce comportement était particulièrement marqué avec les réponses de haute précision de l'IA quand ils croyaient qu'elles venaient d'un médecin.
Les Dangers de la Désinformation
Un des résultats les plus alarmants de l'étude était la façon dont les participants traitaient les réponses de faible précision de l'IA. Ces réponses étaient considérées comme aussi valides et dignes de confiance que celles des médecins. Quand les gens agissent sur des informations trompeuses ou fausses, ils risquent de chercher des soins médicaux inutiles ou de suivre des conseils nuisibles, ce qui peut avoir de graves conséquences sur leur santé.
Les résultats soulignent que s'appuyer uniquement sur des informations médicales générées par l'IA sans contrôles appropriés pourrait être dangereux. Le risque que les individus puissent mal interpréter les conseils générés par l'IA comme étant médicalement valables est préoccupant, surtout pour ceux qui n'ont pas une solide formation en médecine.
Implications pour la Santé
Étant donné les risques potentiels, il est crucial de s'assurer que les systèmes d'IA utilisés dans le domaine de la santé sont conçus avec un contrôle humain en tête. L'IA pourrait certainement améliorer la prestation des soins de santé, mais elle doit travailler aux côtés de professionnels capables de vérifier les informations fournies.
Il faudrait insister sur une communication transparente concernant les sources des informations médicales. Les patients et les utilisateurs doivent comprendre quand ils reçoivent des conseils générés par l'IA par rapport à des conseils de professionnels de santé.
Évaluations des Réponses de l'IA par des Experts
Une analyse plus approfondie dans l'étude a également exploré comment les médecins voyaient les réponses générées par l'IA. Lorsque les médecins étaient au courant de la source des réponses, ils avaient tendance à évaluer les réponses générées par l'IA comme moins précises, solides et complètes. Cela suggère que même les experts manifestent un biais contre les réponses générées par l'IA quand ils savent qu'elles viennent de l'IA, ce qui souligne le besoin de critères et de méthodes d'évaluation plus clairs.
Les médecins évaluaient les réponses de deux manières : quand ils connaissaient la source de la réponse et quand ils ne la connaissaient pas. Dans les deux scénarios, les réponses étaient jugées selon divers critères, tels que la précision et la complétude. Les résultats ont montré qu'un manque de transparence pouvait entraîner des malentendus concernant la fiabilité des informations générées par l'IA.
Besoin de Poursuivre les Recherches
Alors que l'IA continue de se développer, il est essentiel de comprendre comment le public perçoit et interagit avec les conseils médicaux générés par l'IA. Les malentendus concernant la validité des réponses de l'IA peuvent mener à des problèmes de santé graves. Les études futures devraient se concentrer sur comment mieux éduquer les gens pour évaluer les informations médicales, particulièrement quand l'IA est impliquée.
Soutenir l'Utilisation Responsable de l'IA
Il est clair que tant le public que les professionnels de la santé doivent être formés à utiliser les outils d'IA de manière responsable. Cette formation peut aider à garantir que, même si les gens peuvent bénéficier de l'efficacité de l'IA, ils ne deviennent pas trop dépendants de celle-ci sans un contrôle humain.
Les systèmes de santé devraient mettre en place des pratiques qui combinent les forces de la technologie de l'IA avec l'expertise des professionnels de santé. Cette collaboration peut améliorer les soins aux patients tout en minimisant les risques associés à la désinformation.
Conclusion
L'essor de l'IA dans le domaine de la santé ouvre des possibilités passionnantes, mais il présente aussi des défis importants. La confiance dans l'information médicale est cruciale, et comme le montre cette étude, les gens pourraient placer leur confiance dans les mauvaises sources. À mesure que les conseils médicaux générés par l'IA deviennent plus répandus, comprendre comment le public et les fournisseurs de soins de santé interagissent avec ces informations sera essentiel pour garantir la santé et la sécurité.
En résumé, bien que l'IA puisse être un outil puissant dans le domaine de la santé, elle comporte des risques si elle n'est pas mise en œuvre avec soin. Les stratégies futures doivent équilibrer l'efficacité de l'IA avec un cadre de contrôle solide qui implique des médecins dans le processus afin de privilégier la sécurité des patients. S'assurer que le public puisse faire la différence entre des conseils médicaux provenant de sources fiables et ceux de l'IA sera clé pour maximiser les bénéfices de la technologie dans le domaine de la santé.
Titre: People over trust AI-generated medical responses and view them to be as valid as doctors, despite low accuracy
Résumé: This paper presents a comprehensive analysis of how AI-generated medical responses are perceived and evaluated by non-experts. A total of 300 participants gave evaluations for medical responses that were either written by a medical doctor on an online healthcare platform, or generated by a large language model and labeled by physicians as having high or low accuracy. Results showed that participants could not effectively distinguish between AI-generated and Doctors' responses and demonstrated a preference for AI-generated responses, rating High Accuracy AI-generated responses as significantly more valid, trustworthy, and complete/satisfactory. Low Accuracy AI-generated responses on average performed very similar to Doctors' responses, if not more. Participants not only found these low-accuracy AI-generated responses to be valid, trustworthy, and complete/satisfactory but also indicated a high tendency to follow the potentially harmful medical advice and incorrectly seek unnecessary medical attention as a result of the response provided. This problematic reaction was comparable if not more to the reaction they displayed towards doctors' responses. This increased trust placed on inaccurate or inappropriate AI-generated medical advice can lead to misdiagnosis and harmful consequences for individuals seeking help. Further, participants were more trusting of High Accuracy AI-generated responses when told they were given by a doctor and experts rated AI-generated responses significantly higher when the source of the response was unknown. Both experts and non-experts exhibited bias, finding AI-generated responses to be more thorough and accurate than Doctors' responses but still valuing the involvement of a Doctor in the delivery of their medical advice. Ensuring AI systems are implemented with medical professionals should be the future of using AI for the delivery of medical advice.
Auteurs: Shruthi Shekar, Pat Pataranutaporn, Chethan Sarabu, Guillermo A. Cecchi, Pattie Maes
Dernière mise à jour: 2024-08-11 00:00:00
Langue: English
Source URL: https://arxiv.org/abs/2408.15266
Source PDF: https://arxiv.org/pdf/2408.15266
Licence: https://creativecommons.org/licenses/by/4.0/
Changements: Ce résumé a été créé avec l'aide de l'IA et peut contenir des inexactitudes. Pour obtenir des informations précises, veuillez vous référer aux documents sources originaux dont les liens figurent ici.
Merci à arxiv pour l'utilisation de son interopérabilité en libre accès.