Réguler les dispositifs médicaux AI : un défi qui grandit

La croissance rapide de l'intelligence artificielle (IA) ces dernières années n'a pas été suivie par le développement de régulations sûres et efficaces. C'est particulièrement vrai pour les dispositifs médicaux qui utilisent l'IA. Bien que l'IA puisse améliorer ses performances avec le temps, mettre à jour ces modèles peut aussi poser des risques pour la sécurité. Aux États-Unis, la Food and Drug Administration (FDA) a pris les devants pour superviser les dispositifs médicaux à base d'IA et en a approuvé beaucoup. Pour mieux comprendre comment ces dispositifs sont mis à jour et les règles autour de ces mises à jour, une étude a analysé les dispositifs médicaux approuvés par la FDA pour voir à quelle fréquence ils sont mis à jour et quel genre de mises à jour sont faites.

#Résultats sur les mises à jour des dispositifs

L'étude a révélé que moins de 2 % de tous les dispositifs médicaux à base d'IA ont été mis à jour par Re-formation sur de nouvelles données. En revanche, près d'un quart des dispositifs signalent des mises à jour liées à de nouvelles fonctionnalités ou revendications marketing. Par exemple, en examinant de plus près les modèles utilisés pour détecter un Pneumothorax (une condition où de l'air s'échappe dans la cavité thoracique), il a été constaté que bien que les performances de ces modèles puissent chuter considérablement lorsqu'ils sont évalués dans de nouveaux environnements de soins, une re-formation sur des données spécifiques pourrait aider à récupérer une partie de cette performance perdue. Cependant, il y avait aussi une baisse notable des performances lorsque la re-formation était faite en utilisant des données de nouveaux sites, ce qui soulève des questions sur l'approche actuelle des régulations qui suppose qu'un modèle s'applique à toutes les situations.

#Accès aux données et au code

Les données utilisées pour cette étude sont accessibles au public via le site Web de la FDA. De plus, l'analyse et le code seront partagés sur GitHub.

#Importance de la mise à jour des dispositifs médicaux à base d'IA

Alors que l'IA continue d'être appliquée dans divers secteurs, y compris le prêt à la consommation et l'embauche, il y a eu des appels pour que les systèmes réglementaires soient plus adaptables à la nature changeante de l'IA. Des incidents récents impliquant des entreprises comme Boeing et Tesla ont souligné les risques associés aux mises à jour logicielles dans l'IA. Ces situations mettent en avant la nécessité pour les régulateurs d'être plus conscients de la façon dont les produits d'IA évoluent avec le temps, surtout que les mises à jour sont cruciales pour maintenir ou améliorer la performance de ces dispositifs.

#À quelle fréquence les dispositifs sont-ils mis à jour ?

Dans le jeu de données de l'étude, qui comprend 416 dispositifs médicaux uniques à base d'IA, 101 ont été trouvés mis à jour au moins une fois. Cependant, la plupart de ces mises à jour n'impliquaient pas de changements réels au modèle et se concentraient plutôt sur de nouvelles revendications marketing. Seuls six dispositifs ont signalé qu'ils avaient été re-formés avec de nouvelles données. Pour les 95 dispositifs restants, divers types de mises à jour ont été identifiés. Les mises à jour les plus courantes ajoutaient de nouvelles fonctionnalités ou tâches aux modèles existants, tandis que d'autres impliquaient des changements dans la conception du modèle, le signal d'entrée ou la population cible.

#Temps entre les mises à jour

La recherche a montré que les dispositifs sont généralement mis à jour environ 17 mois après leur approbation initiale, certaines mises à jour se produisant dès 3,5 mois après et d'autres prenant jusqu'à six ans. En comparaison, les dispositifs médicaux non-IA ont un délai estimé de 31 mois de la conception à l'approbation de la FDA.

#Étude de cas sur les modèles de pneumothorax

Pour mieux illustrer l'importance de la mise à jour des modèles d'IA, une étude de cas a été réalisée sur des modèles de détection de pneumothorax. Il a été constaté que lorsque les modèles sont formés sur des données de sites spécifiques, ils peuvent ne pas performer aussi bien sur des données d'autres emplacements. Après avoir été re-formés sur de nouvelles données externes, il y a eu une augmentation des performances pour le nouveau site, mais il y a aussi eu une chute significative des performances pour le site d'origine. Cela indique que bien que la re-formation pour améliorer les modèles soit précieuse, elle peut se faire au détriment de la performance sur des ensembles de données précédemment entraînés.

#Défis réglementaires

Actuellement, une fois qu'un dispositif médical à base d'IA reçoit l'approbation de la FDA, il est "verrouillé", ce qui signifie que de nouvelles mises à jour nécessitent une soumission complète pour approbation. Ce processus peut être contraignant et décourage les développeurs de faire les mises à jour nécessaires. Les facteurs économiques jouent également un rôle dans la fréquence des mises à jour des dispositifs. Les entreprises ayant moins de clients peuvent manquer des ressources nécessaires pour consacrer à des mises à jour régulières de modèles, préférant promouvoir de nouvelles fonctionnalités plutôt que d'améliorer le modèle lui-même.

#Considérations futures

La FDA a reconnu les défis liés à la réglementation des mises à jour de modèles. De nouvelles lignes directrices proposées pourraient permettre aux développeurs de documenter les mises à jour plutôt que de passer par un processus de soumission complet. Cependant, même sous ces nouvelles lignes directrices, les développeurs feraient toujours face à des contrôles rigoureux et à des coûts associés à la mise à jour de leurs modèles. Le rapport suggère que les futures régulations devraient se concentrer sur la possibilité de mises à jour spécifiques des modèles tout en garantissant que la sécurité et l'efficacité sont maintenues.

#Recommandations pour améliorer les régulations

Pour relever les défis de la mise à jour des dispositifs médicaux à base d'IA, il est essentiel que les lignes directrices réglementaires évoluent. Les règles actuelles ne permettent pas de re-formation spécifique à un site, ce qui pourrait permettre aux développeurs de créer des modèles optimisés pour différentes populations de patients sans sacrifier la performance. En permettant plusieurs modèles sous un seul dispositif, les développeurs pourraient s'assurer que leurs systèmes fonctionnent bien dans divers environnements.

De plus, la façon dont un modèle d'IA est re-formé peut aussi grandement influencer sa performance. Des facteurs tels que le gel de certaines couches du modèle ou l'ajustement des données d'entraînement peuvent faire une différence dans l'amélioration des capacités d'un modèle. Cependant, l'étude a révélé que de nombreux dispositifs manquaient d'informations détaillées sur les données utilisées dans les mises à jour, ce qui entrave la capacité des utilisateurs à prendre des décisions éclairées.

#Le chemin à suivre pour l'IA en médecine

Alors que l'utilisation de l'IA en médecine se développe, le cadre réglementaire qui la guide doit également évoluer. Harmoniser les réglementations avec les avancées technologiques de l'IA sera vital pour maximiser ses avantages tout en minimisant les risques. Les enseignements tirés des défis rencontrés dans le domaine médical peuvent également être appliqués à d'autres secteurs où l'IA transforme les opérations, comme le transport et les services juridiques.

Il est clair qu'une approche équilibrée est nécessaire. Les régulations doivent garantir la sécurité des patients et l'efficacité des dispositifs tout en encourageant les développeurs à innover et à améliorer leurs produits. Au fur et à mesure que le domaine continue d'évoluer, la conversation autour de la régulation de l'IA doit aussi progresser, permettant une adaptabilité dans la supervision sans compromettre la qualité des soins.

En conclusion, le paysage de l'IA dans les soins de santé évolue rapidement, et les régulateurs doivent suivre ces développements pour créer un cadre qui soutienne l'innovation tout en protégeant la santé publique.