HealthQ : Transformer le questionnement par l'IA dans la santé

Dans le secteur de la santé moderne, les ordis sont de plus en plus utilisés pour aider les patients à obtenir les réponses dont ils ont besoin. Parmi la technologie utilisée, y a un type d'intelligence artificielle connu sous le nom de modèles de langage de grande taille (LLMs). Cette technologie peut générer du texte qui ressemble à celui des humains et est super utile pour répondre aux questions dans un cadre médical. Mais juste répondre aux questions, c'est pas suffisant pour assurer un bon suivi des patients. Ces systèmes d'IA doivent aussi poser de bonnes questions pour obtenir les bonnes infos des patients. C'est là qu'intervient notre nouveau cadre, HealthQ.

HealthQ est conçu pour évaluer à quel point les LLMs peuvent poser des questions qui comptent dans les discussions médicales. On a créé différents types de LLMs, chacun utilisant diverses techniques pour voir comment ils pouvaient interagir avec les patients. Certaines des méthodes qu'on a explorées incluent la Génération augmentée par récupération (RAG), la Chaîne de pensée (CoT) et des approches réflexives. Pour évaluer la performance de ces modèles, on a introduit une IA juge qui note la qualité et la pertinence des questions qu'ils posent.

Pour s'assurer que nos conclusions sont solides, on a utilisé des métriques établies en traitement du langage naturel, comme ROUGE, qui mesure à quel point les réponses générées couvrent les infos du patient, et la Reconnaissance d'entités nommées (NER), qui identifie des faits médicaux spécifiques dans le texte. On a aussi regroupé deux ensembles de données spécialisés à partir de dossiers médicaux existants appelés ChatDoctor et MTS-Dialog.

Notre travail a trois principales contributions :

1. On offre un aperçu détaillé de la façon dont les LLMs peuvent poser des questions dans le domaine de la santé.
2. On a développé une nouvelle méthode pour créer des ensembles de données axés sur l'évaluation des capacités à poser des questions.
3. On propose une manière détaillée d'évaluer comment ces modèles interagissent en conversation avec les patients.

#Le rôle de l'IA dans la santé

L'intégration de l'intelligence artificielle dans le secteur de la santé a changé la façon dont les patients reçoivent des soins. L'IA a amélioré la précision des diagnostics et permis un traitement plus personnalisé. Au cœur de ces avancées se trouvent les LLMs, qui peuvent comprendre et produire du texte semblable à celui des humains. Ils sont utilisés dans diverses applications de santé, comme les assistants de santé virtuels et les systèmes de diagnostic automatisés.

Des recherches ont montré que les LLMs pouvaient considérablement booster les systèmes de questions-réponses, facilitant ainsi aux patients l'obtention de réponses rapides à leurs questions médicales. Beaucoup d'ensembles de données ont été créés pour entraîner ces modèles, leur permettant de répondre efficacement aux questions des patients. Cependant, bien que l'accent ait été mis sur la réponse aux questions, il n'y a pas eu suffisamment d'attention sur comment les LLMs peuvent poser de meilleures questions pour recueillir des informations des patients.

#Poser de meilleures questions

Dans des scénarios de santé réels, répondre simplement aux questions n'est pas suffisant. Pour une bonne interaction avec les patients, les LLMs doivent poser des questions pertinentes et spécifiques au contexte pour recueillir des informations détaillées. Ces infos comprennent les symptômes, les antécédents médicaux, les facteurs de mode de vie et d'autres détails clés nécessaires pour un diagnostic et un traitement précis. En posant les bonnes questions, les LLMs peuvent améliorer considérablement l'engagement des patients et les résultats globaux des soins.

Malgré l'importance de cette capacité interactive, il y a eu un manque de recherche sur à quel point les chaînes de soins des LLMs peuvent formuler des questions qui obtiennent vraiment les informations nécessaires des patients. Ce manque de recherche nous a motivés à créer HealthQ, un cadre visant à évaluer comment ces LLMs peuvent poser des questions pendant les conversations avec les patients.

#Le cadre HealthQ

Notre cadre est construit pour évaluer à quel point les chaînes de soins des LLM peuvent générer des questions qui mènent à des réponses informatives. HealthQ gère deux évaluations principales :

1. Il vérifie la qualité des questions posées par les LLMs.
2. Il examine si ces questions aident à obtenir de meilleures réponses des patients.

Pour valider notre cadre, on utilise une méthode appelée validation de l'information mutuelle. Cette approche nous aide à voir si de meilleures questions mènent à des réponses plus précises.

#Utilisation de diverses chaînes de LLM

Dans notre étude, on a personnalisé plusieurs chaînes de LLM de pointe pour agir comme des médecins. On a utilisé des données d'entraînement pour la recherche et la récupération, en gardant les infos des patients test cachées des modèles pour simuler de vraies interactions. Grâce à des patients virtuels, on a généré des réponses basées sur leurs déclarations médicales, qui ont ensuite été évaluées pour leur qualité.

Les principales métriques d'évaluation qu'on a utilisées incluent :

1. Un juge LLM qui note les questions basées sur leur pertinence, spécificité et informativité.
2. Une évaluation basée sur la synthèse qui vérifie à quel point les réponses couvrent le cas du patient.

Pour aller plus loin dans la performance de ces modèles, on a classé les LLMs en fonction de leurs méthodes :

• Workflow codé en dur : Cette méthode basique repose sur des workflows prédéfinis et n'utilise pas de raisonnement IA complexe.
• RAG : Cette approche combine la récupération et la génération pour créer des questions pertinentes basées sur des cas patients existants.
• RAG avec réflexion : Celle-ci s'appuie sur RAG en permettant au modèle de reconsidérer le contexte et d'améliorer les questions.
• RAG avec la chaîne de pensée (CoT) : Cette méthode effectue un raisonnement itératif pour affiner continuellement les questions.
• RAG avec réflexion et auto-consistance CoT : Cela combine réflexion et vérification de la consistance entre les questions générées.
• ReAct : Ce modèle interactif utilise des invites et des outils, permettant au LLM de décider quand des infos supplémentaires sont nécessaires.

#Traitement des données

Le cadre d'évaluation nécessite un traitement minutieux des données à cause de la nature non structurée des notes médicales. On a divisé les dossiers médicaux originaux en ensembles d'entraînement et de test. Les données d'entraînement forment une base de données vectorielle pour la récupération d'infos, tandis que les chaînes de soins LLM testent leur performance sur les données de test cachées avec des interactions simulées avec des patients.

On a créé cette base de données vectorielle avec une approche personnalisable pour s'adapter facilement à différents ensembles de données. Chaque entrée de cette base contient à la fois le contenu et des métadonnées pertinentes, permettant une récupération d'infos efficace.

#Ensembles de données utilisés

Pour nos évaluations, on a utilisé deux ensembles de données publics :

• ChatDoctor : Ça contient 110 000 conversations médicales anonymisées, offrant une riche source d'interactions variées entre patients.
• MTS-Dialog : Ça inclut 1 700 dialogues médecin-patient, résumant des rencontres médicales détaillées.

Ces ensembles de données offrent une vue d'ensemble des diverses conditions médicales et contextes de conversation, assurant une évaluation complète des chaînes LLM.

#Évaluation des questions

Pour évaluer les questions générées par les LLMs, on a conçu un cadre avec trois parties principales :

1. Simulation de patient virtuel : Ça imite de vraies interactions avec des patients. Le modèle génère d'abord une déclaration du patient, qui sert de base aux questions suivantes.
2. Interrogation du juge LLM : Cette étape évalue la qualité des questions selon des critères comme la spécificité, l'utilité, la pertinence et la fluidité. Une IA séparée juge les questions, assurant une évaluation impartiale.
3. Évaluation basée sur la synthèse : Une fois qu'une question est posée, le LLM génère une réponse simulée. On évalue alors à quel point cette réponse capture toutes les infos pertinentes du patient.

#Résultats et conclusions

Nos évaluations montrent que les chaînes de LLM avancées performent constamment mieux dans la formulation de questions qui mènent à des réponses informatives comparées aux méthodes plus basiques. Par exemple, les chaînes qui utilisaient des techniques réflexives et un raisonnement itératif, comme RAG avec réflexion et CoT, ont montré des performances supérieures globalement.

Le mécanisme de réflexion permet aux LLMs de réévaluer le contexte de leurs questions, ce qui mène à des requêtes plus spécifiques et utiles. En revanche, les méthodes plus simples comme le workflow codé en dur n'atteignent pas le niveau de poser des questions qui recueillent des infos significatives des patients.

De plus, nos investigations sur la qualité des questions montrent qu'il y a une forte relation entre la qualité des questions et celle des réponses. Des questions bien formulées mènent à des réponses plus informatives, améliorant ainsi les interactions avec les patients et la précision des diagnostics.

#Conclusion

Le cadre HealthQ offre un outil précieux pour évaluer les capacités d'interrogation des LLMs dans la santé. En se concentrant sur comment les LLMs posent des questions, on peut améliorer les interactions avec les patients et les résultats. Notre étude souligne l'importance de développer des techniques de questionnement avancées qui permettent à des systèmes d'IA d'interagir efficacement avec les patients.

En avançant, on prévoit de peaufiner davantage notre cadre et de l'élargir pour prendre en compte des conversations cliniques plus complexes et multi-tours. Ce travail en cours vise à améliorer le fonctionnement des chaînes de soins LLM dans des contextes réels, au bénéfice des patients et des prestataires de soins.

En partageant nos résultats et les ensembles de données que nous avons créés, on espère encourager davantage de recherches dans ce domaine important de la collaboration entre la santé et l'IA.