L'impact de l'IA sur la prise de décision médicale
Une étude montre que les outils d'IA peuvent améliorer la précision dans les décisions cliniques.
― 6 min lire
Table des matières
Les avancées récentes dans les grands modèles de langage (LLMs) comme GPT-4 et Med-PaLM2 changent notre façon de voir la pratique et l'éducation médicale. Ces systèmes d'IA peuvent répondre à des questions d'examen médical avec une Précision surprenante, même comparés aux médecins humains. Cependant, ils ne peuvent toujours pas prendre de Décisions médicales seuls à cause de problèmes comme donner de mauvaises réponses, ne pas être cohérents, et le risque de créer ou d'aggraver des biais contre certains groupes de Patients.
Au lieu de se concentrer uniquement sur la performance de ces systèmes, il est plus important de voir si les médecins humains peuvent utiliser l'IA pour faire de meilleures décisions cliniques. Il faut aussi considérer si l'utilisation de l'IA pourrait introduire ou aggraver les biais constatés dans des études précédentes.
Aperçu de l'étude
Dans cette étude, les participants ont regardé une vidéo d'un patient avec des douleurs thoraciques, où le patient était soit un homme blanc, soit une femme noire. On voulait voir comment cela affectait le processus de prise de décision. Après avoir regardé la vidéo, les participants ont répondu à des questions à choix multiples sur le cas. Ils pouvaient utiliser toutes les ressources qu'ils auraient normalement dans leur travail, mais ils n'étaient pas autorisés à utiliser des systèmes d'IA comme ChatGPT au début. Ensuite, ils pouvaient consulter les réponses générées par ChatGPT et modifier leurs réponses initiales.
Résultats
L'étude a montré que les médecins étaient prêts à changer leurs décisions sur la base des suggestions de l'IA, ce qui a amélioré leur précision. Les scores des participants ont été comparés avant et après l'utilisation de l'outil d'IA, et des différences significatives ont été trouvées en fonction de la race et du genre du patient dans la vidéo.
Les médecins étaient plus précis quand ils ont regardé la vidéo avec la patiente noire comparé à celle de l'homme blanc. Les raisons de cette différence ne sont pas complètement claires mais pourraient être liées à l'effet Hawthorne, où le fait d'être observé par un chercheur influence le comportement.
Globalement, les données indiquaient qu'après avoir interagi avec l'IA, il y avait une amélioration notable dans la précision de leurs décisions cliniques. Cette amélioration s'est faite sans introduire de nouveaux biais liés à la race ou au genre.
Différents types de questions
Les participants ont répondu à diverses questions qui reflétaient de vraies décisions médicales, y compris l'évaluation du risque patient et les options de traitement. Ces questions étaient conçues pour mesurer les effets de l'IA sur la prise de décision et les biais potentiels qui pourraient survenir. Les réponses des LLM fournies pour certaines questions maintenaient la cohérence et permettaient d’engager des discussions sur la manière dont les médecins interagissaient avec le système d'IA.
Les participants ont également utilisé ChatGPT de manière libre pour certaines questions, ce qui a révélé les différents types d'interactions qu'ils pourraient avoir dans un cadre réel. Ces interactions variaient entre la recherche de clarifications sur les directives et la demande de conseils spécifiques sur des scénarios de patients.
Feedback des participants
Après avoir complété les questions, 90 % des participants pensaient que des outils IA comme ChatGPT joueraient un rôle important dans les soins de santé. Deux tiers ont évalué son utilité potentielle comme "très probable". Les participants ont proposé plusieurs suggestions pour rendre les outils IA plus utiles dans le secteur, comme améliorer les interfaces utilisateurs adaptées au milieu médical et s'assurer que l'IA pouvait traiter efficacement les informations des patients. La transparence sur la manière dont l'IA prend des décisions était une préoccupation majeure, car beaucoup voulaient que l'IA fournisse des citations pour ses recommandations.
Limitations de l'étude
Une limitation clé de cette étude était que les participants ont été montrés une vidéo d'un patient et une image d'ECG, tandis que l'IA n'autorisait que des interactions textuelles. Cela signifiait que les participants devaient faire un résumé écrit de la vidéo pour l'IA. De plus, les résultats des LLM peuvent varier en fonction de la formulation des prompts et d'autres facteurs.
L'étude était limitée à un seul scénario de cas. Bien que plus de cas pourraient fournir une compréhension plus large des effets de l'IA en médecine, ce cas spécifique a été choisi pour une étude détaillée sur la manière dont les médecins et l'IA peuvent interagir.
Conclusion
Les résultats de cette étude suggèrent que les systèmes d'IA comme les grands modèles de langage peuvent aider à améliorer la prise de décision médicale sans introduire ou aggraver les biais liés à la race ou au genre. Les interactions entre médecins et le chatbot IA ont montré que les médecins sont ouverts aux suggestions de l'IA, ce qui pourrait être bénéfique dans diverses situations cliniques.
Dans cette étude randomisée, 50 médecins licenciés aux États-Unis ont participé à une session vidéo à distance pour observer un acteur patient simulant un cas de douleur thoracique. Les participants ont été choisis au hasard pour voir soit un homme blanc, soit une femme noire. Ils ont ensuite répondu à plusieurs questions cliniques sur les soins immédiats, l'évaluation des risques et les options de traitement.
Après avoir fourni leurs réponses initiales, les participants ont examiné les réponses générées par l'IA et ont été autorisés à ajuster leurs réponses. L'étude visait à voir comment l'assistance de l'IA affectait leur prise de décision.
Les données de cette étude peuvent être utiles pour améliorer les interactions entre les professionnels de la santé et les outils d'IA. Comprendre comment les médecins utilisent ces systèmes aidera à créer un meilleur soutien pour eux dans les contextes cliniques. Cette étude représente une étape importante dans l'examen de la façon dont l'IA peut travailler aux côtés des décideurs humains dans le domaine médical.
Les résultats de cette recherche montrent que l'IA peut aider les médecins à prendre de meilleures décisions et à améliorer la précision des soins aux patients. Ce partenariat pourrait mener à une meilleure qualité des soins de santé tout en minimisant les biais, bénéficiant finalement à la fois aux prestataires et aux patients.
Titre: ChatGPT Influence on Medical Decision-Making, Bias, and Equity: A Randomized Study of Clinicians Evaluating Clinical Vignettes
Résumé: In a randomized, pre-post intervention study, we evaluated the influence of a large language model (LLM) generative AI system on accuracy of physician decision-making and bias in healthcare. 50 US-licensed physicians reviewed a video clinical vignette, featuring actors representing different demographics (a White male or a Black female) with chest pain. Participants were asked to answer clinical questions around triage, risk, and treatment based on these vignettes, then asked to reconsider after receiving advice generated by ChatGPT+ (GPT4). The primary outcome was the accuracy of clinical decisions based on pre-established evidence-based guidelines. Results showed that physicians are willing to change their initial clinical impressions given AI assistance, and that this led to a significant improvement in clinical decision-making accuracy in a chest pain evaluation scenario without introducing or exacerbating existing race or gender biases. A survey of physician participants indicates that the majority expect LLM tools to play a significant role in clinical decision making.
Auteurs: Ethan Goh, B. Bunning, E. Khoong, R. Gallo, A. Milstein, D. Centola, J. H. Chen
Dernière mise à jour: 2023-11-27 00:00:00
Langue: English
Source URL: https://www.medrxiv.org/content/10.1101/2023.11.24.23298844
Source PDF: https://www.medrxiv.org/content/10.1101/2023.11.24.23298844.full.pdf
Licence: https://creativecommons.org/licenses/by/4.0/
Changements: Ce résumé a été créé avec l'aide de l'IA et peut contenir des inexactitudes. Pour obtenir des informations précises, veuillez vous référer aux documents sources originaux dont les liens figurent ici.
Merci à medrxiv pour l'utilisation de son interopérabilité en libre accès.