Évaluation des méthodes de détection OOD dans le secteur de la santé

L'apprentissage automatique (ML) devient de plus en plus courant dans le domaine de la santé. Mais il y a un gros souci : les modèles ML galèrent souvent quand ils doivent traiter de nouvelles données qui diffèrent de celles sur lesquelles ils ont été entraînés. Ça peut mener à des prédictions incorrectes, surtout dans des situations réelles en santé. C'est super important de trouver un moyen d'identifier quand les données à traiter ne correspondent pas à celles sur lesquelles le modèle a été formé, ce qu'on appelle des données hors distribution (OOD).

Il y a un vrai besoin de méthodes efficaces pour détecter les données OOD. Beaucoup d'approches ont été développées pour détecter les données OOD dans d'autres domaines, mais c'est encore flou de savoir comment ces méthodes fonctionnent pour les données médicales souvent organisées en tableaux. Cet article propose un nouveau benchmark pour comparer différentes méthodes de détection OOD, spécifiquement pour les données médicales sous forme tabulaire.

#Le Problème des Données OOD

Quand les modèles ML sont utilisés en santé, ils sont généralement entraînés sur des données provenant d'hôpitaux ou de groupes de patients spécifiques. Si un tel modèle essaie de faire des prédictions sur des données d'un autre hôpital, les résultats peuvent être erronés. Ce problème survient parce que le modèle n'a pas été entraîné pour gérer ce type de données.

Pour surmonter ce souci, c'est crucial de détecter quand un échantillon de données est OOD avant que le modèle ne fasse ses prédictions. La détection OOD implique d'utiliser un modèle entraîné sur des données en distribution (ID) pour identifier les échantillons qui ne correspondent pas à cette distribution.

#Méthodes de Détection OOD Existantes

Il y a différentes méthodes de détection OOD qui ont été proposées dans divers domaines, surtout en vision par ordinateur. Cependant, ces méthodes ne fonctionnent pas forcément bien quand on les applique aux données médicales tabulaires. Les techniques de détection OOD actuelles peuvent être regroupées en trois catégories :

1. Méthodes post-hoc : Ces méthodes peuvent être utilisées avec n'importe quel classificateur entraîné. Elles analysent les résultats du modèle pour déterminer si un échantillon est OOD.
2. Méthodes basées sur la densité : Ces méthodes estiment la distribution normale des données d'entraînement et cherchent des échantillons qui tombent en dehors de cette distribution.
3. Méthodes de réentraînement : Ces méthodes nécessitent un réentraînement du modèle pour détecter les échantillons OOD, mais elles sont généralement conçues pour des données d'image plutôt que pour des données tabulaires.

Pour cette étude, on se concentre sur les méthodes post-hoc et basées sur la densité, car elles peuvent être appliquées à une variété de jeux de données médicaux tabulaires.

#Le Benchmark

Pour évaluer la performance des différentes méthodes de détection OOD, on a créé un benchmark en utilisant deux grands jeux de données publics : eICU et MIMIC-IV. Ces jeux de données contiennent des informations provenant de milliers de patients en unités de soins intensifs (USI). On a examiné diverses méthodes à travers différents types de modèles prédictifs, y compris le perceptron multicouche (MLP), ResNet et les transformers.

Le benchmark inclut des tests qui examinent à la fois des échantillons près de la frontière OOD et ceux plus éloignés. Les échantillons près de la frontière OOD sont ceux qui sont similaires aux données d'entraînement, tandis que les échantillons plus éloignés sont significativement différents.

#Conception des Expériences

Les expériences ont utilisé les jeux de données eICU et MIMIC-IV pour tester différentes méthodes de détection OOD. Le jeu de données eICU comprend des données provenant de nombreux hôpitaux, ce qui lui donne une grande variété de profils de patients. Le jeu de données MIMIC-IV consiste en des données provenant d'un groupe différent de patients et d'hôpitaux.

#Préparation des Données

Avant de faire les expériences, on a prétraité les jeux de données pour enlever les patients avec des données incomplètes. Cette étape a permis d'avoir un jeu de données plus propre pour les tests. On a ensuite catégorisé les données en ensembles ID et OOD en fonction de caractéristiques spécifiques comme l'âge ou le sexe. Cela a aidé à évaluer à quel point différentes méthodes détectaient les échantillons OOD.

#Approches de Détection OOD

L'étude a comparé sept modèles basés sur la densité et dix-sept détecteurs post-hoc. Chacun de ces détecteurs a été évalué sur sa capacité à distinguer entre les échantillons ID et OOD. La performance de détection a été mesurée à l'aide de métriques comme l'aire sous la courbe de caractéristiques de fonctionnement du récepteur (AUROC).

#Résultats

#Détection des Far-OOD

Dans les cas où les échantillons OOD étaient significativement différents des données d'entraînement, certaines méthodes ont montré des résultats prometteurs. Par exemple, le modèle basé sur la densité appelé Flow a particulièrement bien fonctionné sur le jeu de données eICU. D'autres comme DUE ont aussi montré un bon potentiel sur MIMIC-IV.

Les méthodes post-hoc comme MDS se sont révélées efficaces, surtout quand elles étaient utilisées avec ResNet. Cependant, les méthodes post-hoc traditionnelles sous-performaient généralement par rapport aux méthodes basées sur la densité.

#Détection des Near-OOD

Les résultats pour la détection des near-OOD étaient plus difficiles. Beaucoup de méthodes ont montré des performances presque aléatoires à cause de la forte similarité entre les échantillons ID et near-OOD. Bien que certaines méthodes comme MDS et Flow aient montré de légers avantages, la capacité globale à détecter les near-OOD était limitée.

Le jeu de données MIMIC-IV a montré des résultats similaires avec certaines caractéristiques des données causant des difficultés pour la plupart des détecteurs.

#Détection Synthétique OOD

Pour tester davantage les modèles, on a créé artificiellement des échantillons OOD en modulant les caractéristiques des données. Cette approche nous a permis de simuler des conditions OOD et d'analyser à quel point les méthodes fonctionnaient dans ces scénarios contrôlés.

On a constaté qu'avec l'augmentation du facteur d'échelle, la performance des méthodes s'améliorait généralement, surtout pour les modèles basés sur la densité. Cependant, des problèmes de confiance résiduels persistaient pour certaines architectures comme MLP et ResNet.

#Conclusion

Ce benchmark révèle des insights significatifs sur la performance des différentes méthodes de détection OOD pour les données médicales tabulaires. Bien que la détection des échantillons far-OOD ait montré des promesses avec plusieurs méthodes, la détection des near-OOD reste un challenge.

Les méthodes basées sur la densité ont systématiquement surpassé les méthodes post-hoc, notamment dans des situations impliquant de grands changements de distribution.

De plus, l'architecture transformer a montré un potentiel pour atténuer les problèmes de sur-confiance observés avec MLP et ResNet.

Cette étude souligne le besoin de recherches continues pour améliorer les méthodes de détection OOD, particulièrement pour les données near-OOD, afin d'améliorer la fiabilité des modèles ML dans des applications réelles de santé.

En fournissant une comparaison systématique des méthodes actuelles, on espère ouvrir la voie à de meilleurs outils qui peuvent assurer une utilisation sécurisée des modèles ML en santé, menant finalement à de meilleurs résultats pour les patients.

À mesure que plus de données deviennent disponibles, les futurs benchmarks pourront être élargis pour inclure d'autres jeux de données et méthodes, favorisant l'avancement continu dans le domaine.