La variabilité dans le codage de la santé des patients impacte l'apprentissage automatique dans le secteur de la santé
Une étude montre comment les différences de codage affectent les prévisions de santé en pédiatrie.
― 8 min lire
Table des matières
- Importance des Dossiers de Santé
- Défis des Codes de diagnostic
- Objectifs de l'Étude
- Sources de Données Utilisées
- Sélection des Résultats à Étudier
- Différences dans les Pratiques Hospitalières
- Analyse des Données
- Accord Entre les Étiquettes
- Exploration des Unités Hospitalières
- Implications pour les Modèles d'Apprentissage Automatique
- Forces et Limites de l'Étude
- Conclusion
- Source originale
L'apprentissage automatique est de plus en plus utilisé dans le domaine de la santé, surtout avec les Dossiers de santé des patients. Ces programmes informatiques peuvent aider les médecins à prendre de meilleures décisions en analysant les données passées des patients. Par exemple, ils peuvent réduire les visites à l'hôpital pour les patients atteints de cancer, améliorer la façon dont les médecins parlent des problèmes de santé graves, et s'assurer que les bons médicaments sont prescrits.
Importance des Dossiers de Santé
Les dossiers de santé des patients, aussi appelés dossiers de santé électroniques (DSE), contiennent plein d'infos sur l'historique médical d'un patient. Ces données incluent des choses comme les raisons des visites, les résultats de tests et les médicaments prescrits. Les modèles d'apprentissage automatique extraient des données de ces dossiers pour prédire des résultats et soutenir les décisions cliniques.
Cependant, la façon dont ces dossiers sont codés peut varier d'un hôpital à l'autre. Différents hôpitaux peuvent catégoriser les mêmes problèmes de santé de manières différentes. Cette incohérence peut affecter la précision des prédictions faites par les modèles d'apprentissage automatique. Il y a aussi peu de recherches sur l'impact de cette variabilité sur les données de santé des enfants à travers différents hôpitaux.
Défis des Codes de diagnostic
Un des principaux défis, c'est que les codes utilisés pour définir le diagnostic d'un patient sont parfois générés à partir des mêmes données en cours d'analyse. Ça rend difficile de créer un standard clair pour savoir ce que ces codes devraient être.
Cependant, les résultats des tests de laboratoire peuvent être plus simples. Chaque test a des plages spécifiques qui indiquent ce qui est considéré comme normal ou anormal. Par exemple, certains tests sanguins ont des seuils connus qui définissent différents niveaux de gravité des problèmes de santé. Ça permet de comparer les différents types de données de manière plus concrète.
Objectifs de l'Étude
L'étude avait pour but de voir comment les codes de diagnostic et les résultats des tests concordent entre trois hôpitaux différents. Le focus était sur les Patients pédiatriques-ceux de moins de 18 ans. Elle visait aussi à comprendre comment les pratiques de codage différentes dans les hôpitaux peuvent affecter les données.
Sources de Données Utilisées
Les données provenaient de trois hôpitaux différents. Le premier était un hôpital pour enfants à Toronto, Canada. Le deuxième et le troisième étaient un hôpital pour enfants et un hôpital pour adultes en Californie, USA.
Les données collectées incluaient les admissions à l'hôpital entre juin 2018 et août 2022. Seuls les patients âgés de 28 jours à moins de 18 ans étaient inclus dans les hôpitaux pour enfants. Les patients adultes de l'hôpital pour adultes étaient aussi inclus pour donner un peu de contexte.
Sélection des Résultats à Étudier
Les chercheurs se sont concentrés sur sept résultats de santé définis par les tests de laboratoire. Il s'agissait de conditions comme des blessures rénales, une hypoglycémie et des niveaux de plaquettes bas. Ces conditions ont été choisies parce qu'elles sont significatives et fournissent une bonne base de recherche.
Pour chacun de ces résultats, des étiquettes basées sur les tests et des étiquettes basées sur les diagnostics ont été créées. Les étiquettes étaient basées sur les résultats des tests de laboratoire et les diagnostics codés lors des visites à l'hôpital.
Différences dans les Pratiques Hospitalières
Avant d'analyser les données, les chercheurs ont examiné les caractéristiques de chaque hôpital. Ils voulaient savoir s'il y avait des différences dans la démographie des patients, les résultats des tests de laboratoire et la fréquence des tests de laboratoire.
Ils ont découvert que bien que les caractéristiques de base comme l'âge et le sexe soient similaires entre les hôpitaux pédiatriques, il y avait des différences notables dans la fréquence des tests. Un hôpital effectuait moins de tests de laboratoire que l'autre.
De plus, les plages de référence pour les résultats de laboratoire normaux variaient d'un hôpital à l'autre. Cela signifie qu'un résultat considéré comme normal dans un hôpital pourrait être vu comme anormal dans un autre.
Analyse des Données
L'accent principal était mis sur la façon dont les différents types d'étiquettes se comparaient les uns aux autres. Les chercheurs ont regardé à quelle fréquence les étiquettes basées sur les tests et celles basées sur les diagnostics étaient assignées lors des admissions à l'hôpital.
Les résultats ont montré que l'hôpital pour enfants en Californie avait beaucoup plus d'étiquettes de diagnostic positives par rapport à l'hôpital pour enfants à Toronto. Les différences étaient significatives, ce qui signifie que la même condition pouvait être étiquetée différemment selon l'endroit où le patient était traité.
Pour les étiquettes basées sur les tests, les différences étaient moins prononcées mais toujours présentes. Comprendre ces différences est crucial pour faire des prédictions précises en utilisant l'apprentissage automatique.
Accord Entre les Étiquettes
L'étude a aussi exploré si les codes de diagnostic reflétaient fidèlement les résultats des tests de laboratoire. Cet accord a été mesuré à l'aide de métriques spécifiques. En général, les codes de diagnostic se sont avérés très spécifiques mais moins sensibles. Cela signifie qu'ils étaient bons pour confirmer un diagnostic quand il était présent, mais pas pour identifier les cas où un diagnostic était réellement nécessaire.
L'analyse a montré que l'hôpital pour enfants à Toronto avait un moindre accord avec les résultats des tests de laboratoire par rapport à l'hôpital californien. Cela suggère qu'il n'est peut-être pas idéal de se fier uniquement aux codes de diagnostic pour comprendre les résultats de santé.
Exploration des Unités Hospitalières
Un autre aspect intéressant était de regarder les unités hospitalières individuelles. Les chercheurs ont examiné à quelle fréquence les patients avaient soit des résultats de laboratoire positifs, soit des codes de diagnostic dans chaque département spécifique. L'objectif était d'évaluer si certaines unités étaient meilleures pour identifier les résultats de santé en se basant sur les tests de laboratoire.
À l'hôpital pour enfants de Californie, il y avait une forte corrélation entre le nombre de résultats de laboratoire positifs et les codes de diagnostic positifs à travers les différentes unités. Cela était moins cohérent à l'hôpital de Toronto.
Implications pour les Modèles d'Apprentissage Automatique
Les résultats suggèrent que se baser uniquement sur les codes de diagnostic peut être risqué pour les modèles d'apprentissage automatique, surtout s'il y a beaucoup de variations dans la façon dont ces codes sont assignés à travers les hôpitaux. Sans un codage précis et cohérent, les modèles d'apprentissage automatique pourraient ne pas bien fonctionner lorsqu'ils sont appliqués à des données provenant d'institutions différentes.
De plus, les différentes plages de référence des laboratoires peuvent entraîner des incohérences sur ce qui est considéré comme un résultat normal ou anormal. Cela peut embrouiller les modèles et affecter les décisions cliniques prises sur la base des prédictions.
Forces et Limites de l'Étude
L'étude avait plusieurs forces, comme l'examen de plusieurs institutions et l'implication des cliniciens dans le processus de recherche. Cependant, il y avait aussi des limites. Seules sept issues ont été examinées, et des conditions de santé plus complexes n'ont pas été incluses.
L'étude a également analysé des données sur une période limitée, ce qui signifie qu'elle pourrait ne pas refléter comment les pratiques évoluent avec le temps.
Conclusion
Pour résumer, l'étude a mis en lumière des différences significatives dans les pratiques de codage des diagnostics entre les hôpitaux pédiatriques. Ces écarts peuvent affecter la performance des modèles d'apprentissage automatique qui s'appuient sur ces codes pour faire des prédictions. Il est essentiel que les prestataires de santé reconnaissent ces variations pour améliorer la qualité des soins offerts aux patients. Utiliser les résultats de laboratoire comme standard peut aider à créer des modèles plus fiables qui peuvent être appliqués dans différents contextes de santé.
Titre: Characterizing the limitations of using diagnosis codes in the context of machine learning for healthcare
Résumé: ImportanceDiagnostic codes are commonly used as inputs for clinical prediction models, to create labels for prediction tasks, and to identify cohorts for multicenter network studies. However, the coverage rates of diagnostic codes and their variability across institutions are underexplored. ObjectivePrimary objective was to describe lab- and diagnosis-based labels for 7 selected outcomes at three institutions. Secondary objectives were to describe agreement, sensitivity, and specificity of diagnosis-based labels against lab-based labels. MethodsThis study included three cohorts: SickKidsPeds from The Hospital for Sick Children, and StanfordPeds and StanfordAdults from Stanford Medicine. We included seven clinical outcomes with lab-based definitions: acute kidney injury, hyperkalemia, hypoglycemia, hyponatremia, anemia, neutropenia and thrombocytopenia. For each outcome, we created four lab-based labels (abnormal, mild, moderate and severe) based on test result and one diagnosis-based label. Proportion of admissions with a positive label were presented for each outcome stratified by cohort. Using lab-based labels as the gold standard, agreement using Cohens Kappa, sensitivity and specificity were calculated for each lab-based severity level. ResultsThe number of admissions included were: SickKidsPeds (n=59,298), StanfordPeds (n=24,639) and StanfordAdults (n=159,985). The proportion of admissions with a positive diagnosis-based label was significantly higher for StanfordPeds compared to SickKidsPeds across all outcomes, with odds ratio (99.9% confidence interval) for abnormal diagnosis-based label ranging from 2.2 (1.7-2.7) for neutropenia to 18.4 (10.1-33.4) for hyperkalemia. Lab-based labels were more similar by institution. When using lab-based labels as the gold standard, Cohens Kappa and sensitivity were lower at SickKidsPeds for all severity levels compared to StanfordPeds. ConclusionsAcross multiple outcomes, diagnosis codes were consistently different between the two pediatric institutions. This difference was not explained by differences in test results. These results may have implications for machine learning model development and deployment.
Auteurs: Lillian Sung, L. L. Guo, K. E. Morse, C. Aftandilian, E. Steinberg, J. Fries, J. Posada, S. L. Fleming, J. Lemmon, K. Jessa, N. Shah
Dernière mise à jour: 2023-03-17 00:00:00
Langue: English
Source URL: https://www.medrxiv.org/content/10.1101/2023.03.14.23287202
Source PDF: https://www.medrxiv.org/content/10.1101/2023.03.14.23287202.full.pdf
Licence: https://creativecommons.org/licenses/by/4.0/
Changements: Ce résumé a été créé avec l'aide de l'IA et peut contenir des inexactitudes. Pour obtenir des informations précises, veuillez vous référer aux documents sources originaux dont les liens figurent ici.
Merci à medrxiv pour l'utilisation de son interopérabilité en libre accès.