Comparer les systèmes d'IA pour prédire le risque de delirium

Cet article examine à quel point deux systèmes prédisent le risque de Délire, une condition sérieuse qui peut toucher les patients, surtout dans les milieux de santé. Les systèmes comparés sont GPT-4, un grand modèle de langage (LLM), et clinalytix Medical AI, conçu spécifiquement pour des fins médicales.

#Résultats sur la performance

L'étude a révélé que GPT-4 avait du mal à identifier les patients à risque de développer un délire. Il a raté un grand nombre de cas qui étaient des vrais positifs, c'est-à-dire qu'il n'a pas reconnu les patients qui étaient réellement à risque. En revanche, clinalytix Medical AI a beaucoup mieux réussi à faire des Prédictions précises sur le risque de délire.

L'analyse des résultats de GPT-4 a montré des raisons pour sa mauvaise performance. Ça correspond à des problèmes déjà notés dans d'autres études sur les LLM dans des tâches cliniques. Globalement, il est devenu clair que les LLM ont du mal à diagnostiquer des problèmes de santé et à interpréter des données provenant de milieux cliniques.

#Le rôle des LLM dans la santé

Malgré leurs limites, les LLM comme GPT-4 ont encore un potentiel dans le domaine de la santé. Cependant, les utiliser pour des décisions cliniques indépendantes n'est pas une bonne idée pour le moment. Au lieu de ça, ces modèles devraient être utilisés comme des outils pour aider les professionnels de santé, qui doivent rester les principaux décideurs dans les soins aux patients.

#Intérêt pour le traitement du langage naturel (NLP)

Les professionnels de santé s'intéressent de plus en plus à l'utilisation des technologies de traitement du langage naturel (NLP). Ces technologies peuvent analyser et interpréter des informations médicales, ce qui peut bénéficier au secteur médical. Les modèles de langage clinique ont le potentiel d'améliorer les Soins de santé en traitant un large éventail de littérature médicale et de données cliniques réelles.

Un exemple notable de progrès dans ce domaine est Med-PaLM, qui a été le premier système d'IA à bien performer à l'examen de licence médicale des États-Unis (USMLE). Avec des avancées supplémentaires, Med-PaLM 2 a obtenu un score élevé sur des questions de style USMLE. Une autre version, Med-PaLM M, peut analyser des informations provenant de plusieurs sources de données médicales, y compris des images et des dossiers de santé.

#Le défi de l'utilisation des LLM en milieux cliniques

L'étude soulève la question de savoir si les LLM peuvent être utilisés efficacement dans des milieux cliniques. Les modèles actuels conseillent de faire preuve de prudence dans leur utilisation pour les décisions cliniques, mais on espère qu'ils développeront à la fois confiance et fiabilité avec le temps. L'objectif final est que ces modèles atteignent un niveau de précision équivalent ou supérieur à celui des cliniciens humains.

#Aperçu de l'étude

L'étude visait à comparer la performance de GPT-4 avec clinalytix Medical AI dans la prédiction du risque de délire. Des données ont été collectées à partir de 190 cas, incluant des patients avec et sans délire. L'ensemble de données contenait du texte libre provenant des dossiers de santé électroniques (DSE) et des données structurées comme des tests de laboratoire et des dossiers de médicaments.

Pour clinalytix Medical AI, une méthode de calibration spécifique a été utilisée pour les prédictions. Avec GPT-4, toutes les informations ont été reformattées sous forme de texte. Lorsque la taille des données dépassait ce que GPT-4 pouvait traiter, des anciennes informations étaient supprimées jusqu'à ce que les données rentrent dans les limites du modèle. L'objectif était que le modèle évalue chaque cas et fournisse un score de risque pour le délire.

#Comparaison de performance

Les résultats ont montré une différence nette entre les deux modèles. Clinalytix Medical AI était beaucoup plus précis dans ses prédictions du risque de délire. GPT-4 n'a fait qu'une seule prédiction fausse positive, ayant jugé un cas comme étant à risque. Cependant, il a échoué à détecter environ 38 % des patients qui étaient réellement à risque, entraînant de nombreux faux négatifs.

#Besoin d'informations supplémentaires

Prédire le risque de délire n'est qu'une partie de l'équation des soins de santé. Des informations supplémentaires sont nécessaires pour décider du traitement approprié. Clinalytix Medical AI va au-delà de simples prédictions et fournit un score de probabilité calibré qui reflète avec précision la probabilité de délire. D'un autre côté, GPT-4 n'a pas offert d'estimations de probabilité fiables même lorsqu'il était sollicité.

#Importance de l'explicabilité

L'explicabilité est vitale dans les prédictions de risque clinique parce que les professionnels de santé ont besoin de comprendre pourquoi un modèle fait des prédictions spécifiques. Des techniques comme LIME et SHAP ont été utilisées dans clinalytix Medical AI pour aider à révéler le raisonnement derrière les prédictions. Avec GPT-4, des explications sont générées sur demande mais peuvent parfois être trompeuses. Le LLM peut produire des explications qui sonnent bien mais qui ne reflètent pas toujours une réelle compréhension, soulevant des inquiétudes quant à leur validité.

#Compréhension des erreurs de prédiction

L'étude a examiné pourquoi GPT-4 a fait des prédictions incorrectes. Certaines raisons potentielles incluent :

1. Limitations de la fenêtre de contexte : GPT-4 a une limite maximale sur la quantité de texte qu'il peut traiter à la fois. Si les données d'un patient dépassent cette limite, des informations importantes pourraient être perdues, entraînant des erreurs dans les prédictions.

2. Prédire le risque vs détecter les conditions : Le LLM identifiait parfois des termes importants mais ne signalait pas un niveau de risque s'il n'y avait pas de signes clairs de délire. Cela signifie qu'il agissait plus comme un détecteur de délire plutôt que d'évaluer les niveaux de risque, ce qui pouvait impacter la précision.

3. Préférence pour le type de données : Le modèle s'appuyait fortement sur des données textuelles mais avait du mal à comprendre les résultats de laboratoire ou d'autres données structurées. Cela a été documenté comme un défi commun pour les LLM.

#Nature complexe des LLM

Étant donné à quel point les LLM sont compliqués, il n'est pas facile de déterminer pourquoi ils font des prédictions spécifiques. L'investigation a révélé que l'utilisation de GPT-4 seul n'était pas une méthode fiable pour évaluer le risque de délire. Il manquait souvent des cas positifs et évitait d'indiquer un risque à moins que des signes très clairs soient présents. Divers facteurs ont contribué à ces problèmes, y compris des limites sur la quantité de données que le modèle pouvait traiter, sa façon d'aborder la tâche et les types de données qu'il privilégiait.

#Le défi des fenêtres de contexte

Pendant l'étude, GPT-4 avait une fenêtre de contexte de 8 000 tokens, ce qui signifie que si les données du patient dépassaient cela, il fallait les raccourcir. Cette troncature pourrait entraîner la perte d'informations précieuses qui pourraient aider le modèle à faire de meilleures prédictions. Les avancées dans les LLM ont produit des modèles avec des fenêtres de contexte plus larges, comme Claude 2.1, qui peut traiter 200 000 tokens. Cependant, même ces plus grandes fenêtres rencontrent des problèmes car les LLM se concentrent souvent sur les informations au début ou à la fin de l'entrée et peuvent négliger des détails cruciaux au milieu.

#Différences de performance des modèles

Une question importante est de savoir si les problèmes avec GPT-4 sont uniques à ce modèle spécifique ou si d'autres modèles montreraient des résultats similaires. Des études récentes révèlent que même les meilleurs LLM ne diagnostiquent souvent pas les patients aussi précisément que les médecins humains. Il a été noté que les LLM ne suivent pas les directives cliniques établies, ce qui suggère qu'ils ne sont pas encore adaptés pour prendre des décisions cliniques indépendantes.

#Pourquoi les LLM ont du mal dans des applications réelles

Bien que certains LLM aient montré qu'ils pouvaient répondre efficacement à des questions médicales, le véritable défi émerge dans des scénarios réels complexes. Les données cliniques réelles sont diverses et incluent de nombreux types, ce qui rend plus difficile l'analyse précise par les LLM. En fait, des recherches montrent que plus de données peuvent réellement diminuer la performance des LLM s'ils ne se concentrent pas sur des détails pertinents.

#Variabilité du comportement des LLM

Les LLM se comportent de manière incohérente, ce qui peut affecter leur performance. Par exemple, simplement changer l'ordre des informations peut conduire à des sorties très différentes. Cette incohérence n'est généralement pas observée chez les médecins humains, indiquant des problèmes potentiels avec les LLM. De plus, le modèle favorisait souvent le texte par rapport aux données tabulaires, comme les résultats de laboratoire.

#Précautions à prendre

La nature générative des LLM leur permet de produire des textes qui peuvent sembler sensés mais sans garantie de précision. Des études montrent d'importantes différences dans les diagnostics effectués par les LLM comparativement à ceux réalisés par des experts humains. Des recherches antérieures ont trouvé que bien que les LLM puissent offrir des suggestions raisonnables, ils manquent souvent d'insights plus complexes, ce qui souligne le besoin de supervision humaine.

#Conclusion

Les résultats soulignent les limites des LLM comme GPT-4 pour prédire avec précision le risque de délire par rapport à des systèmes spécialisés comme clinalytix Medical AI. Les modèles actuels ont du mal avec les complexités des données médicales du monde réel. Bien que les LLM puissent assister les professionnels de santé, ils ne devraient pas les remplacer dans la prise de décisions cliniques critiques. La supervision humaine est toujours nécessaire pour garantir les meilleurs soins aux patients.