RetinaVLM : Transformer les évaluations de la santé oculaire

Les cliniciens passent souvent beaucoup de temps à regarder des images médicales liées à la santé des yeux, notant ce qu'ils voient pour décider des soins à apporter aux patients. Il existe de nouveaux modèles appelés modèles vision-langage (VLM) qui peuvent automatiquement lire ces images et rédiger des rapports. Ces modèles ont le potentiel d'aider les médecins à travailler plus vite et à donner accès à de bons soins médicaux à plus de patients. Bien que beaucoup de gens soient excités par ces modèles, il n'est pas clair s'ils peuvent être utiles dans des situations réelles.

Dans cette recherche, on a découvert que les VLM de base ne performent pas aussi bien que les ophtalmologistes pour des tâches importantes concernant les patients atteints de dégénérescence maculaire liée à l'âge (DMLA). Pour améliorer ça, on a d'abord compris quelles compétences sont nécessaires pour prendre des décisions basées sur des images dans un cadre clinique. Ensuite, on a formé un nouveau modèle appelé RetinaVLM pour développer ces compétences essentielles. RetinaVLM peut rédiger des rapports qui sont bien meilleurs que ceux des autres VLM médicaux existants en matière d'évaluation des maladies et de référence des patients. Il s'approche de la performance des jeunes ophtalmologistes. Dans une étude avec deux ophtalmologistes expérimentés, les rapports de RetinaVLM étaient presque aussi précis et complets que ceux rédigés par des médecins juniors.

Ces résultats montrent que notre méthode de formation peut aider les VLM généraux à mieux gérer les tâches cliniques réelles. RetinaVLM est le premier VLM spécialisé pour une utilisation médicale.

#Comment RetinaVLM a été Développé

En utilisant une approche de formation ciblée, on a appris à RetinaVLM les compétences médicales importantes que la plupart des VLM de base n'ont pas. RetinaVLM peut analyser efficacement les images d'optical coherence tomography (OCT) et répondre à des questions textuelles. Ses fonctions incluent l'analyse des signes clés de la DMLA, le niveau de la maladie, et si un patient a besoin d'une référence pour un traitement.

Les images médicales sont cruciales pour prendre des décisions sur le diagnostic et le traitement des patients. Les médecins prennent beaucoup de temps à noter leurs observations. Les VLM peuvent aider en interprétant rapidement les images et en créant des comptes-rendus détaillés. Jusqu'à présent, la plupart des VLM médicaux se limitaient à fournir des réponses fixes. Cependant, de nouveaux développements combinant de grands modèles de langage avec le traitement d'images médicales ont conduit à la création de VLM plus avancés capables de rédiger des rapports complets ou de répondre à des questions complexes.

Cette nouvelle génération de modèles médicaux est construite à partir de grandes quantités de données d'entraînement rassemblées dans des manuels médicaux, des articles scientifiques, ou des publications sur les réseaux sociaux de professionnels de la santé. Bien que ces modèles aient montré des résultats impressionnants sur des tests médicaux standardisés, il reste flou s'ils peuvent être utiles dans des domaines médicaux spécialisés. Malgré leur taille, les données d'entraînement utilisées ne se concentrent pas sur les défis spécifiques auxquels les médecins sont confrontés dans leurs tâches quotidiennes.

Dans notre étude, nous avons voulu combler cette lacune en développant des VLM ayant une réelle valeur clinique. On a décomposé les tâches cliniques en compétences nécessaires et formé les VLM spécifiquement dans ces domaines. On a testé cette méthode en ophtalmologie, introduisant RetinaVLM.

RetinaVLM a été formé avec un programme ciblé visant à gérer la DMLA, qui est la principale cause de perte de vision chez les personnes âgées. Il peut analyser des images OCT et répondre à divers types d'instructions textuelles. On a mené des expériences approfondies pour évaluer les capacités de RetinaVLM en matière d'évaluation des maladies, de références de patients, et d'analyse d'images médicales.

#Composants Clés de RetinaVLM

RetinaVLM se compose de deux parties principales : une unité de traitement d'images (l'encodeur de vision) qui lit les images OCT, et une unité de traitement du langage (le grand modèle de langage) qui gère le texte. L'encodeur de vision est basé sur des travaux précédemment réussis, reconnu pour sa bonne performance avec les images rétiniennes. On a choisi Llama 3 de Meta comme modèle de langage, qui avait les meilleurs résultats disponibles au moment où on a mené cette étude.

Malgré leur solide formation, sans instruction supplémentaire, ces modèles manquent des connaissances spécifiques nécessaires pour analyser les images OCT et gérer la DMLA. Les deux composants avaient été pré-entraînés en utilisant de grands ensembles de données, et on a affiné leur formation pour s'adapter aux besoins de notre étude.

#Formation Spécialisée pour RetinaVLM

On a créé un plan de formation spécifique pour enseigner à RetinaVLM les connaissances nécessaires pour gérer la DMLA. Une manière simple de spécialiser les VLM tout en maintenant leur capacité à répondre de manière flexible aux instructions textuelles est de leur fournir des images médicales avec leurs questions et réponses associées. Malheureusement, il n'y a pas beaucoup de jeux de données de question-réponse visuelles (VQA) conçus pour des spécialités médicales comme l'ophtalmologie.

Avec une équipe de professionnels de la santé visuelle, on a identifié des compétences vitales pour gérer efficacement la DMLA. Ces compétences incluent le repérage des signes de la DMLA dans les images OCT, l'établissement de lien entre ces signes et le stade de la maladie, et la détermination des références et traitements appropriés nécessaires au patient. On a ensuite élaboré un plan de formation comprenant des milliers d'images OCT, avec de nombreuses questions et réponses visuelles qui ont progressivement formé les VLM dans ces compétences.

On a divisé notre formation en deux parties. La première partie a introduit RetinaVLM à l'apparence de la rétine et aux signes de la DMLA visibles lors des images OCT. On a rassemblé un grand nombre de rapports liés à ces images. Les rapports décrivaient les fonctionnalités visibles dans les images et incluaient des informations de diagnostic.

Ensuite, on a chargé un modèle de langage de créer des paires de questions-réponses à partir de ces rapports. Ce processus nous a permis de produire un grand ensemble de données de questions et réponses. Les questions se concentraient sur la présence ou l'absence de marqueurs spécifiques indiquant la DMLA.

Dans la seconde partie de la formation, on a visé à relier les marqueurs identifiés au stade de la maladie et à recommander un traitement. Cela nécessitait de créer des rapports détaillés qui allaient au-delà de simples notes. Une équipe plus expérimentée d'ophtalmologistes a créé ces rapports, et on a à nouveau utilisé un modèle indépendant pour produire des paires de questions-réponses basées sur ces insights.

Le résultat fut deux ensembles de questions et réponses créés pour spécialiser les VLM avec des connaissances sur la DMLA.

#Performance de RetinaVLM Comparée à Autres Modèles

On a évalué la performance de différents VLM dans la génération de rapports basés sur des images OCT rétiniennes et la détermination des stades de la maladie DMLA. On a comparé RetinaVLM avec deux VLM de base existants, Med-Flamingo et LLaVA-Med. Un total de 276 images OCT a été analysé par ces modèles, avec leurs rapports comparés aux évaluations d'experts fait par des médecins ophtalmo juniors.

Nos résultats ont montré que même la version initiale de RetinaVLM a bien mieux performé que les modèles généraux, qui manquaient de connaissances spécifiques en ophtalmologie. Med-Flamingo a obtenu l'un des scores les plus bas, tandis que RetinaVLM-Spécialiste a marqué significativement plus haut. Il s'est approché de la précision des médecins juniors.

Dans nos tests, on a remarqué que le plus avancé RetinaVLM-Spécialiste produisait des rapports valides pour tous les cas analysés, alors que beaucoup de rapports des modèles de base étaient soit incomplets, soit mal formatés. Cela a montré que RetinaVLM pouvait non seulement analyser les images efficacement, mais aussi produire des rapports fiables.

#Exactitude et Qualité des Rapports de RetinaVLM

Lors d'une évaluation supplémentaire, on a demandé à des ophtalmologistes seniors d'évaluer la qualité des rapports produits par RetinaVLM. Les médecins seniors ont examiné une sélection de rapports de RetinaVLM, LLaVA-Med, et de médecins juniors. Ils ont évalué la précision, l'exhaustivité, et la concision des rapports.

Les résultats ont indiqué que les rapports de RetinaVLM étaient presque aussi corrects et complets que ceux des médecins juniors, montrant les capacités du modèle à comprendre et interpréter les informations cliniques. Cependant, bien que RetinaVLM fournissait des rapports de haute qualité, il incluait parfois des détails inutiles, entraînant des scores de concision légèrement inférieurs à ceux des médecins juniors.

#Efficacité dans la Référence et le Dépistage des Patients

La DMLA devient de plus en plus courante avec le vieillissement de la population, et des programmes de dépistage sont mis en place pour aider à gérer ce problème. Dans des endroits comme le Royaume-Uni, des éléments comme les opticiens commencent à interpréter les images OCT pour identifier les patients à haut risque.

On a testé la capacité de divers VLM à déterminer l'urgence des références de patients pour un traitement basé sur des directives fournies. Nos résultats ont montré que les modèles de base et même RetinaVLM-Base ont sous-performé par rapport aux médecins ophtalmologistes humains en ce qui concerne la recommandation de références urgentes.

Cependant, RetinaVLM-Spécialiste a réussi à identifier un grand pourcentage de patients à haut risque ayant besoin d'un traitement immédiat tout en réduisant le nombre de références inutiles par rapport aux non-spécialistes.

#Analyse de la Détection des Biomarqueurs

On voulait s'assurer que les modèles pouvaient identifier avec précision les biomarqueurs critiques vus dans les images OCT. On a évalué dans quelle mesure RetinaVLM et d'autres modèles pouvaient déterminer la présence de dix biomarqueurs importants associés à la DMLA. Les réponses ont été comparées avec les évaluations faites par des ophtalmologistes juniors.

RetinaVLM a très bien performé, dépassant les deux modèles de base dans la détection des indicateurs clés de la DMLA. Il a montré une grande capacité à identifier des caractéristiques sévères de la maladie, démontrant son utilité dans les milieux cliniques.

#Conclusion et Directions Futures

Dans cette étude, on a introduit RetinaVLM, un outil spécialisé capable de lire les images OCT et de créer des rapports textuels détaillés sur la DMLA. Il montre des promesses dans la fourniture d'évaluations, de recommandations et d'analyses précises, s'alignant étroitement avec les médecins juniors en termes de performance.

On pense qu'il y a encore des améliorations à apporter. Les efforts futurs devraient se concentrer sur la formation de RetinaVLM avec une plus grande variété de rapports générés par des spécialistes expérimentés. Cela pourrait l'aider à atteindre encore de meilleures performances dans des situations cliniques. On voit aussi un besoin d'incorporer des connaissances sur d'autres maladies oculaires et techniques d'imagerie pour rendre RetinaVLM encore plus polyvalent.

En suivant notre méthode de formation personnalisée, on montre qu'il est possible de créer des VLM capables de s'attaquer à des défis cliniques réels, s'assurant qu'ils apportent une valeur tangible dans le domaine de la santé.