Génération de dossiers de santé synthétiques avec GPT

Les dossiers de santé électroniques (DSE) sont super importants pour la recherche en santé, aidant les médecins à comprendre les maladies, suivre les médocs et améliorer les soins aux Patients. Par contre, accéder aux vraies Données DSE peut être galère à cause des règles de confidentialité et des limites de partage de données. Pour y remédier, on a créé des DSE synthétiques. Ces dossiers synthétiques ressemblent à de vraies données de santé mais n'appartiennent à personne en particulier, permettant aux chercheurs de poser des questions sans violer la vie privée.

Malgré leurs avantages, beaucoup de méthodes pour créer des DSE synthétiques oublient des détails importants, surtout comment les événements de santé se déroulent dans le temps. Par exemple, quand une personne va chez le médecin, reçoit un médoc ou a des résultats de tests, le Timing et l'ordre de ces événements sont super importants. Suivre ces détails est crucial pour mieux comprendre les soins apportés aux patients.

Récemment, les Transformers pré-entraînés génératifs (GPT) ont été utilisés pour créer des données de santé synthétiques. Cette approche peut améliorer l'analyse de la progression des maladies, estimer des populations et générer de nouvelles données synthétiques. Notre objectif est d'utiliser le GPT pour créer des DSE synthétiques qui reflètent avec précision les chronologies des patients et peuvent facilement être convertis dans un format de données commun appelé OMOP.

#L'Importance des Données Synthétiques

Accéder aux vrais DSE est essentiel pour diverses activités de santé, y compris la recherche sur les médicaments et l'apprentissage machine dans des contextes cliniques. Malheureusement, utiliser de vraies données pose plein de défis. Des problèmes comme la confidentialité et la sécurité, ainsi que des règles strictes de partage de données, rendent difficile pour les chercheurs d'obtenir les données dont ils ont besoin. Les données synthétiques offrent une solution, fournissant un moyen sécurisé et rapide d'accéder à des informations de santé pour faire avancer différentes domaines, comme les contextes cliniques et la recherche académique.

Les données synthétiques imitent les statistiques et comportements des populations de patients sans lien avec un vrai individu. Ça permet à plein de chercheurs de répondre à leurs questions sans se soucier de la confidentialité ou de passer par le long processus d'accès à de vraies données. Les avancées récentes en apprentissage machine ont permis de créer des données synthétiques à partir de DSE réels, mais encore, beaucoup de techniques existantes peinent à capturer le timing et les relations importantes des événements dans les scénarios médicaux.

Un bon jeu de données synthétiques doit maintenir les connexions entre les caractéristiques liées au temps, permettant aux chercheurs de tester des modèles d'apprentissage machine avec précision sur différentes populations. Pour des tâches prédictives, les données synthétiques doivent conserver les chronologies des patients intactes, car même de petits changements peuvent avoir un grand impact sur les prédictions. Un jeu de données synthétiques est considéré comme réussi quand il remplit deux critères : il doit montrer des résultats similaires à ceux des données originales et les modèles d'apprentissage machine entraînés sur ces données synthétiques doivent bien fonctionner, comme ceux entraînés sur de vraies données.

#Défis dans la Génération de Données EHR Synthétiques

La plupart des recherches actuelles sur les DSE synthétiques se concentrent principalement sur le développement de nouveaux modèles d'apprentissage profond. Cependant, beaucoup de ces méthodes n'accordent pas assez d'attention à maintenir les détails de timing importants. En conséquence, les ensembles de données EHR synthétiques générés de cette manière ont du mal à supporter des tâches qui nécessitent des chronologies de patients précises, comme prédire les réadmissions à l'hôpital ou le risque de futurs problèmes de santé.

Un autre problème avec les données EHR synthétiques est leur adoption limitée à cause d'un manque de standards. Si les données synthétiques ne peuvent pas facilement s'adapter à un format commun, les chercheurs auront du mal à les utiliser pour leur analyse. Jusqu'à présent, les méthodes existantes n'ont pas répondu à ce besoin d'un format standard dans leurs cadres.

Nous croyons que les données synthétiques en séries chronologiques doivent capturer les caractéristiques essentielles de différents DSE tout en respectant des exigences de timing spécifiques. Cela inclut de faire correspondre l'âge de départ des patients, l'année où ils ont commencé à chercher des soins, la durée des séjours à l'hôpital et les écarts entre les visites. De plus, toute donnée EHR synthétique devrait s'adapter à des modèles standards comme le Modèle de Données Commun OMOP pour être facilement accessible à un public plus large.

#Le Cadre CEHR-GPT

Notre approche, appelée CEHR-GPT, vise à fournir un flux de travail complet pour générer des données DSE synthétiques en séries chronologiques. Voici les principales contributions de ce travail :

1. On a conçu une nouvelle représentation des patients qui garde une trace de toutes les informations significatives, y compris les types de visites et d'établissements de soins, tout en maintenant les détails de timing comme les années de début, les âges et les intervalles entre les visites. À notre connaissance, c'est la première fois que l'information de timing est complètement conservée.

2. On traite la génération de séquences de patients comme un défi de modélisation de langage. Ça nous permet d'utiliser un modèle GPT pour comprendre et ensuite créer des séquences de patients.

3. Nos séquences synthétiques peuvent être converties au format OMOP avec une perte minimale d'information temporelle. Cette conversion facilite l'évaluation et le partage de nos données synthétiques.

4. On a évalué les données EHR synthétiques de trois manières : en regardant la distribution des données, en examinant les relations entre les événements et en vérifiant comment les modèles d'apprentissage machine performaient avec ces données.

#Travaux Connexes

Les travaux antérieurs sur la génération de DSE synthétiques reposent souvent sur des Réseaux Antagonistes Génératifs (GANs). Bien que les chercheurs aient réussi avec les GANs depuis 2017, ils étaient généralement limités à des formats tabulaires qui ne pouvaient pas capturer la nature liée au temps des données EHR. Des recherches plus récentes ont commencé à explorer des méthodes pour résoudre ce problème. Certaines méthodes ont utilisé une combinaison de techniques pour mieux gérer les données en séries chronologiques, mais beaucoup ont encore du mal à générer des horodatages précis pour les visites médicales.

Pour améliorer ces efforts existants, un algorithme d'apprentissage en deux étapes a été proposé pour créer des données avec horodatage. Cela impliquait d'apprendre des représentations de visites et de simuler des données mais a laissé quelques défis non résolus. Les difficultés comprenaient le fait de négliger divers types de données EHR, de supposer que les visites se produisaient le même jour, et de ne pas conserver des détails spécifiques sur les types de visites et les lieux de sortie.

Jusqu'à récemment, la plupart des approches de génération de DSE synthétiques se concentraient sur les GANs, qui sont notoirement difficiles à entraîner. Cela a conduit à des incohérences dans la qualité des données générées. En revanche, traiter la génération de séquences de patients comme une tâche de modélisation de langage a montré des promesses. Une méthode a utilisé le GPT pour prédire les parcours des patients, mais a eu du mal à capturer le timing des événements de manière fiable.

#Notre Approche de Représentation des Patients

On a développé une représentation des patients dans CEHR-GPT qui capture les événements vitaux et les chronologies, nous permettant ainsi d'utiliser efficacement de grands modèles de langage. Cette représentation inclut les données démographiques ainsi que l'historique du patient et les détails de timing. La séquence commence par des informations démographiques, y compris l'âge initial du patient, l'année de sa première visite, son sexe et sa race. Chaque visite est représentée par des blocs séparés par des tokens qui indiquent les écarts de temps en jours.

Pour les longs écarts de temps, on regroupe ceux-ci dans un token spécial à cause de leur faible fréquence. Chaque bloc de visite commence par un token de type de visite, suivi des dossiers de santé classés par temps. Pour les séjours à l'hôpital, on différencie les dossiers du même jour à l'aide de tokens spéciaux.

Cette représentation permet de convertir des données d'un modèle standard en séquences de patients sans perdre aucun détail temporel. Notre évaluation indique que cette représentation de patient retient parfaitement les informations essentielles.

#Encodeur et Décodeur OMOP

Pour créer des séquences de patients, on commence par ajouter des prompts démographiques provenant de la base de données OMOP, qui inclut des données critiques comme l'âge du patient, l'année de la première visite, le sexe et la race. Ensuite, on construit une série de blocs de visites qui représentent le parcours médical complet du patient. On insère des tokens de temps pour indiquer les écarts entre ces visites. Dans chaque bloc de visite, on rassemble tous les dossiers pertinents triés par leurs horodatages. Pour les visites d'hospitalisation, on doit organiser soigneusement les dossiers et insérer des tokens supplémentaires pour capturer le timing entre les événements.

Une fois qu'on a ces séquences, on utilise un modèle GPT qui applique des décodeurs de transformateur standard pour apprendre à générer de nouvelles séquences de patients basées sur l'entrée que nous fournissons. Les séquences synthétisées peuvent ensuite être converties de nouveau au format OMOP, garantissant qu'on maintienne une représentation robuste de l'historique de santé du patient.

#Tests et Résultats

On a dérivé des séquences de patients à partir d'un grand ensemble de données puis créé des versions synthétiques en utilisant notre modèle. Pendant l'entraînement, on a réussi à maintenir un équilibre dans la distribution des événements de santé comparé aux vraies données. On a aussi évalué comment différents modèles performaient en fonction des données synthétiques générées.

On a regardé trois niveaux d'évaluation : distribution des événements de santé, relations entre ces événements, et comment les modèles se comportaient quand ils étaient entraînés sur nos données synthétiques. En comparant les résultats avec ceux des dossiers réels, on a évalué à quel point les tendances similaires apparaissaient.

Nos résultats ont montré que les ensembles de données synthétiques générés avec diverses approches ont des performances différentes par rapport aux données réelles. Cependant, notre méthode s'est distinguée par la préservation du timing crucial des événements, ce qui est essentiel pour comprendre avec précision les historiques des patients.

#Évaluations de la Vie Privée

La vie privée est une préoccupation sérieuse quand on utilise de vraies données de santé. On a évalué comment les données synthétiques respectent la vie privée et la confidentialité. On a regardé les risques potentiels qui pourraient surgir lorsque quelqu'un essaie d'identifier un vrai patient à partir des données synthétiques générées.

On a simulé deux types d'attaques à la vie privée : une qui implique juste le jeu de données synthétique et une autre qui pourrait inclure des requêtes au modèle lui-même. Dans les deux cas, bien que les attaquants aient eu un certain succès, la précision de leurs tentatives est restée autour de 50%, suggérant que la vie privée était largement maintenue dans nos ensembles de données synthétiques.

#Conclusion

Ce travail démontre un effort sans précédent d'utiliser le GPT pour générer des données EHR synthétiques. En créant une représentation des patients qui conserve les chronologies et les détails des événements essentiels, on peut produire des séquences de patients réalistes. Les résultats montrent que nos données synthétiques ressemblent beaucoup aux dossiers de patients réels, ce qui en fait un outil précieux dans la recherche en santé.

Pour résumer, on a introduit une nouvelle méthode pour générer des données EHR synthétiques tout en préservant des informations temporelles cruciales. Cette méthode peut aider les chercheurs à étudier les modèles de santé sans compromettre la vie privée des patients. Les travaux futurs amélioreront encore cette approche pour augmenter la précision et la pertinence des ensembles de données synthétiques dans les applications cliniques.