Évaluation de GPT-4V dans l'imagerie des soins oculaires

L'intelligence artificielle (IA) change plein de domaines, y compris la médecine. Un développement super intéressant, ce sont les grands modèles de langage (LLMs), qui peuvent comprendre et générer du texte. Dans le domaine médical, surtout en ophtalmologie, ces modèles peuvent aider avec des tâches qui impliquent à la fois des Images et du texte, mais il y a encore quelques défis.

#Le Rôle de l'Imagerie en Ophtalmologie

L'ophtalmologie, c'est le domaine des soins aux yeux, et elle dépend souvent de différentes techniques d'imagerie pour diagnostiquer et traiter des problèmes. Les docs utilisent des images de différentes méthodes comme :

• Images de lampe à fente : pour examiner de près la partie avant de l'œil.
• Ophthalmoscopie laser à balayage (SLO) : pour des vues détaillées de la rétine.
• Photographie du fond d'œil : pour capturer des images de la surface intérieure de l'œil.
• Tomographie par cohérence optique (OCT) : pour des images en coupe de la rétine.
• Angiographie à la fluorescéine du fond d'œil (FFA) : pour examiner la circulation sanguine dans la rétine.
• Échographie oculaire (OUS) : pour voir les structures internes de l'œil.

Ces images aident les médecins à poser des Diagnostics précis et à décider des meilleurs traitements.

#Utilisation Actuelle des LLMs en Ophtalmologie

Récemment, les LLMs ont surtout été utilisés pour répondre à des questions sous forme de texte dans le domaine de l'ophtalmologie. Par exemple, ils aident à se préparer pour des examens spécialisés en répondant à des questions sur les maladies des yeux et les traitements chirurgicaux. Cependant, ces modèles ont des limites quand il s'agit d'analyser des images.

#L'Introduction de GPT-4V

Un nouveau modèle, GPT-4V(ision), a été introduit pour surmonter ces limites. Ce modèle peut traiter à la fois des images et du texte. Cette capacité permet une fonction appelée réponse à des questions visuelles (VQA), où le modèle répond à des questions basées sur des images. Ça pourrait fournir des info précieuses pour les médecins et les patients.

Malgré son potentiel, GPT-4V n'a pas encore été testé de manière approfondie dans le domaine ophtalmologique. Donc, on n'est pas sûr s'il peut analyser efficacement les images liées aux problèmes oculaires.

#L'Objectif de l'Étude

Cette étude vise à tester à quel point un chatbot basé sur GPT-4V peut répondre à des questions sur des images oculaires. Pour garantir une évaluation équitable, les chercheurs ont collecté un ensemble de données privé d'images provenant de plusieurs centres oculaires en Chine. Cet ensemble de données inclut une variété d'images représentant différentes conditions des yeux.

#Processus de Collecte d'Images

Les chercheurs ont soigneusement sélectionné des images montrant des signes clairs de problèmes oculaires spécifiques. Ils ont exclu les images avec des diagnostics flous ou contestés. Deux ophtalmologistes expérimentés ont passé en revue les images sélectionnées pour confirmer leur clarté et leur fiabilité.

#Développement de l'Appli Utilisant GPT-4V

Les chercheurs ont constaté que GPT-4V hésitait parfois à fournir des diagnostics quand il avait seulement des images des yeux. Pour améliorer ses réponses, ils ont créé une appli digitale qui permet au modèle d'analyser ces images plus efficacement.

#Comment les Réponses Ont Été Générées

Pour évaluer GPT-4V, les chercheurs ont créé dix questions spécifiques basées sur des études précédentes et leur expérience clinique. Ces questions visent à évaluer la performance du modèle dans plusieurs domaines, y compris :

1. Identifier le type d'examen.
2. Reconnaître les lésions ou anomalies.
3. Évaluer sa capacité à poser un diagnostic.
4. Offrir un soutien décisionnel pour d'autres actions.

Les chercheurs ont demandé à GPT-4V les images oculaires collectées sur une courte période.

#Processus d'Évaluation Humaine

Trois ophtalmologistes expérimentés ont évalué les réponses de GPT-4V. Ils ont regardé trois aspects principaux :

1. Exactitude : Les réponses étaient-elles factuellement correctes ?
2. Utilisabilité : Les réponses étaient-elles pertinentes et utiles ?
3. Sécurité : Les réponses comportaient-elles des risques pour les patients ?

Ils ont noté l'exactitude sur une échelle de trois points, avec des scores indiquant si l'info était correcte, partiellement correcte ou incorrecte.

L'utilisabilité a aussi été notée selon l'aide que représentaient les réponses, allant de très utilisable à peu utilisable. Les évaluations de sécurité se concentraient sur tout potentiel danger pouvant découler des conseils donnés.

#Performance Globale de GPT-4V

L'étude a révélé que GPT-4V montrait une bonne exactitude et utilisabilité dans l'interprétation de certains types d'images oculaires, en particulier les images de lampe à fente. Cependant, ses performances variaient significativement selon les autres types d'images. Par exemple, les réponses aux photographies du fond d'œil étaient souvent moins précises et utiles.

Malgré des évaluations positives, beaucoup de réponses étaient soit incorrectes, soit pas très utilisables. La capacité du modèle à interpréter les images était limitée, et ses descriptions étaient souvent vagues ou génériques, ce qui n'est pas utile pour les médecins ou les patients.

#Répétabilité des Réponses

Les chercheurs ont aussi examiné à quel point les réponses de GPT-4V étaient cohérentes quand on lui posait les mêmes questions à nouveau. L'accord global était relativement faible, indiquant que le modèle a du mal à fournir des réponses stables et fiables.

#Comparaison de GPT-4V aux Réponses Humaines

Les chercheurs ont comparé les réponses de GPT-4V à celles données par des médecins humains. Ils ont constaté que les réponses du modèle manquaient souvent de profondeur et de spécificité que les experts humains fournissent. La similarité dans la structure des phrases était modérée, mais le modèle recourait souvent à des phrases génériques qui pouvaient s'appliquer à n'importe quelle condition oculaire.

#Conclusion

Bien que GPT-4V représente un progrès dans l'utilisation de l'IA pour analyser des images en ophtalmologie, il n'est pas encore prêt pour une utilisation clinique dans la réalité. Sa capacité à diagnostiquer et à soutenir les décisions cliniques basées sur des images oculaires nécessite des améliorations significatives. Plus de recherches sont nécessaires pour affiner ces modèles avant qu'ils ne puissent être fiables dans des contextes médicaux.

Les résultats de cette étude servent de base pour les futurs efforts visant à améliorer les modèles d'IA en ophtalmologie. Au final, bien qu'il y ait un potentiel dans l'utilisation de l'IA, un développement supplémentaire est nécessaire pour garantir la sécurité et l'efficacité des soins aux patients.

#Limitations

Il y a des limites à cette étude. D'abord, le petit nombre d'images utilisées a peut-être influencé la fiabilité des résultats. Un ensemble de données plus large et plus varié donnerait une meilleure représentation de ce que les médecins voient dans leur pratique quotidienne. De plus, les chercheurs n'ont pas examiné si GPT-4V pouvait corriger ses erreurs lorsqu'on lui demandait à nouveau, ce qui pourrait être un domaine important pour des recherches futures.

En conclusion, GPT-4V montre du potentiel, mais il a besoin de plus de travail pour être efficace en aidant les soins oculaires. Des tests et des améliorations continues sont cruciaux pour rendre les outils d'IA utilisables dans des situations médicales réelles.