EHRSHOT vorstellen: Ein neuer Massstab für Healthcare ML
EHRSHOT bietet ein neues Dataset und Modell, um die ML-Forschung im Gesundheitswesen voranzubringen.
― 6 min Lesedauer
Inhaltsverzeichnis
- Was ist EHRSHOT?
- Bedeutung von EHRSHOT
- Datensatzdetails
- CLMBR-T-base Modell
- Überblick über die wichtigsten Beiträge
- Herausforderungen bei bestehenden EHR-Datensätzen
- Der Bedarf an offenen Datensätzen
- Angehen von Reproduzierbarkeitsproblemen
- Bewertung von Modellen
- Bedeutung des Few-Shot Lernens
- Vergleich mit bestehenden Datensätzen
- Die Zukunft der EHR-Daten in der Forschung
- Fazit
- Originalquelle
- Referenz Links
Im Gesundheitswesen ist maschinelles Lernen (ML) ein kraftvolles Werkzeug, das helfen kann, die Patientenversorgung und Ergebnisse zu verbessern. Forscher stehen jedoch oft vor Herausforderungen, weil es nicht genug gemeinsam genutzte Datensätze und Modelle gibt, besonders wenn es um Elektronische Gesundheitsakten (EHRs) geht. Elektronische Gesundheitsakten sind digitale Versionen der Papierakten von Patienten und enthalten eine Fülle von Informationen über die medizinische Geschichte eines Patienten. Dieses Papier stellt einen neuen Benchmark namens EHRSHOT vor, der sich auf die Few-Shot-Bewertung von Grundmodellen im Gesundheitswesen konzentriert.
Was ist EHRSHOT?
EHRSHOT ist ein neuer Datensatz, der detaillierte medizinische Informationen von 6.739 Patienten bei Stanford Medicine enthält. Dieser Datensatz unterscheidet sich von vielen anderen, weil er eine longitudinale Sichtweise bietet, was bedeutet, dass er die vollständigen medizinischen Zeitlinien von Patienten über die Zeit erfasst, anstatt nur Schnappschüsse aus bestimmten Abteilungen wie Notfallversorgung oder Intensivstationen. Diese grössere Perspektive ermöglicht es Forschern, die Gesundheit von Patienten besser zu verstehen und Modelle zu entwickeln, die Vorhersagen auf Basis umfassenderer Daten machen können.
Bedeutung von EHRSHOT
Die Einführung von EHRSHOT ist bedeutend, weil sie zwei grosse Probleme im Gesundheitswesen ML angeht. Erstens bietet es einen reichen Datensatz, den Forscher nutzen können, um ihre ML-Modelle zu entwickeln. Zweitens stellt es ein Grundmodell namens CLMBR-T-base bereit, das auf einer grossen Menge anonymisierter klinischer Daten vortrainiert wurde. Dieses Modell hilft Forschern, Zeit und Ressourcen zu sparen, sodass sie sich auf die Entwicklung praktischer Anwendungen konzentrieren können, anstatt von Grund auf neu zu beginnen.
Datensatzdetails
EHRSHOT enthält eine riesige Menge an Daten, mit über 41,6 Millionen klinischen Ereignissen, die über fast 922.000 Begegnungen erfasst wurden. Die Akte jedes Patienten umfasst verschiedene Arten von strukturierten Daten wie Demografie, Diagnosen, Verfahren, Laborergebnisse und Medikamente. Für diesen Benchmark wurden Patienten anhand bestimmter Kriterien ausgewählt, wie Alter und Anzahl der erfassten klinischen Ereignisse. Dieser Auswahlprozess hilft sicherzustellen, dass der Datensatz relevant und nützlich für das Training von maschinellen Lernmodellen ist.
CLMBR-T-base Modell
Zusammen mit dem EHRSHOT-Datensatz hat das Forschungsteam ein Grundmodell veröffentlicht, das als CLMBR-T-base bekannt ist. Dieses Modell wurde auf den EHR-Daten von 2,57 Millionen Patienten vortrainiert und ist darauf ausgelegt, strukturierte Daten in elektronischen Gesundheitsakten zu verarbeiten. Viele vorherige Modelle haben nur mit unstrukturierten Textdaten gearbeitet, was CLMBR-T-base zu einem bemerkenswerten Fortschritt macht. Dieses Modell kann verwendet werden, um die Leistung bei verschiedenen klinischen Vorhersageaufgaben zu verbessern.
Überblick über die wichtigsten Beiträge
EHRSHOT trägt auf drei Hauptweisen zur Gesundheitswesen-ML-Community bei:
- Ein neuer Datensatz, der vollständige kodierte medizinische Zeitlinien von Tausenden von Patienten enthält.
- Ein vortrainiertes Grundmodell, das Forscher sofort nutzen können.
- Ein Satz definierter klinischer Vorhersageaufgaben, der die Bewertung verschiedener Modelle erleichtert.
Diese Beiträge zielen darauf ab, die Reproduzierbarkeit in der Gesundheitsforschung zu verbessern und weitere Fortschritte in den ML-Anwendungen in klinischen Umgebungen zu fördern.
Herausforderungen bei bestehenden EHR-Datensätzen
Die meisten bestehenden EHR-Datensätze konzentrieren sich eng auf einen bestimmten Bereich, wie die Intensivpflege, was ihre Nützlichkeit für breitere Anwendungen einschränkt. Ausserdem bieten viele Datensätze nicht genug Informationen über Patienten über die Zeit. Das kann es schwierig machen, Modelle zu entwickeln, die die Gesundheitsreise eines Patienten wirklich reflektieren. EHRSHOT versucht, diese Einschränkungen zu überwinden, indem es umfassendere Daten bietet, die verschiedene klinische Ereignisse abdecken.
Der Bedarf an offenen Datensätzen
Offene Datensätze spielen eine entscheidende Rolle bei der Weiterentwicklung des maschinellen Lernens. Sie ermöglichen Forschern, ihre Ergebnisse zu teilen, Studien zu reproduzieren und auf der Arbeit anderer aufzubauen. Im Gesundheitssektor gibt es jedoch einen erheblichen Mangel an verfügbaren Datensätzen und vortrainierten Modellen, besonders für elektronische Gesundheitsakten. Diese Knappheit macht es schwierig, reproduzierbare Forschung zu betreiben und die Wirksamkeit neuer Ansätze im maschinellen Lernen zu validieren.
Angehen von Reproduzierbarkeitsproblemen
Reproduzierbarkeit ist ein kritischer Aspekt jeder wissenschaftlichen Forschung. Indem sie einen gemeinsamen Datensatz wie EHRSHOT und ein vortrainiertes Modell bereitstellt, zielt das Forschungsteam darauf ab, die Hürden für andere Forscher zu minimieren. Dadurch können sie Studien reproduzieren, neue Ideen testen und Ergebnisse validieren. Offener Zugang zu gut organisierten Datensätzen und Modellen ist entscheidend, um den Fortschritt in diesem Bereich zu beschleunigen.
Bewertung von Modellen
Der EHRSHOT-Benchmark umfasst 15 verschiedene Klinische Vorhersageaufgaben, die es Forschern ermöglichen, die Leistung ihrer Modelle zu bewerten. Diese Aufgaben decken ein Spektrum von Bereichen ab, von der Patientenklassifizierung bis zur Vorhersage klinischer Ergebnisse. Durch die Definition dieser Aufgaben können Forscher besser beurteilen, wie gut ihre Modelle in realistischen Szenarien abschneiden und Bereiche für Verbesserungen identifizieren.
Few-Shot Lernens
Bedeutung desFew-Shot-Lernen bezieht sich auf die Fähigkeit eines Modells, mit sehr wenigen Beispielen jeder Klasse gut abzuschneiden. Das ist besonders wichtig im Gesundheitswesen, wo einige Bedingungen selten sein können und daher nur begrenzte gekennzeichnete Daten für das Training zur Verfügung stehen. EHRSHOT ermöglicht Few-Shot-Lernen, indem es die longitudinalen Daten der Patienten bereitstellt, die helfen, Modelle auch dann zu trainieren, wenn nur wenige Beispiele für spezifische Aufgaben verfügbar sind.
Vergleich mit bestehenden Datensätzen
EHRSHOT bietet einzigartige Vorteile gegenüber bestehenden Datensätzen wie MIMIC-III oder eICU, die oft auf bestimmte Abteilungen oder Zeitrahmen beschränkt sind. Indem es eine breitere Palette von Patientendaten über verschiedene Abteilungen hinweg über die Zeit erfasst, bietet EHRSHOT eine umfassendere Sicht auf die Gesundheit der Patienten. Dadurch können robustere Modelle entwickelt werden, die besser über verschiedene klinische Szenarien generalisieren können.
Die Zukunft der EHR-Daten in der Forschung
Da maschinelles Lernen im Gesundheitswesen immer wichtiger wird, wird die Verfügbarkeit zuverlässiger Datensätze wie EHRSHOT zunehmend entscheidend. Durch die Schaffung von Standards und Benchmarks können Forscher daran arbeiten, die Qualität der Versorgung für Patienten zu verbessern. Kontinuierliche Verbesserungen der Datenfreigabepraktiken werden auch Fortschritte bei Modellen und Technologien erleichtern, die darauf abzielen, die Patientenversorgung zu personalisieren.
Fazit
EHRSHOT stellt einen bedeutenden Fortschritt an der Schnittstelle von maschinellem Lernen und Gesundheitswesen dar. Mit seinem riesigen Datensatz und dem vortrainierten Grundmodell bietet dieser Benchmark Forschern die Werkzeuge, die sie benötigen, um fortschrittliche Modelle zu entwickeln und zu bewerten. Durch die Ansprache von Bedenken hinsichtlich des Zugangs zu Daten und der Reproduzierbarkeit bereitet EHRSHOT den Boden für zukünftige Innovationen im Gesundheitswesen ML. Während Forscher weiterhin das Potenzial von EHR-Daten erkunden, wird die Fähigkeit, genauere und effizientere Modelle zu entwickeln, fundamental sein, um die Ergebnisse für Patienten zu verbessern und die Gesundheitsversorgung zu optimieren.
Titel: EHRSHOT: An EHR Benchmark for Few-Shot Evaluation of Foundation Models
Zusammenfassung: While the general machine learning (ML) community has benefited from public datasets, tasks, and models, the progress of ML in healthcare has been hampered by a lack of such shared assets. The success of foundation models creates new challenges for healthcare ML by requiring access to shared pretrained models to validate performance benefits. We help address these challenges through three contributions. First, we publish a new dataset, EHRSHOT, which contains deidentified structured data from the electronic health records (EHRs) of 6,739 patients from Stanford Medicine. Unlike MIMIC-III/IV and other popular EHR datasets, EHRSHOT is longitudinal and not restricted to ICU/ED patients. Second, we publish the weights of CLMBR-T-base, a 141M parameter clinical foundation model pretrained on the structured EHR data of 2.57M patients. We are one of the first to fully release such a model for coded EHR data; in contrast, most prior models released for clinical data (e.g. GatorTron, ClinicalBERT) only work with unstructured text and cannot process the rich, structured data within an EHR. We provide an end-to-end pipeline for the community to validate and build upon its performance. Third, we define 15 few-shot clinical prediction tasks, enabling evaluation of foundation models on benefits such as sample efficiency and task adaptation. Our model and dataset are available via a research data use agreement from our website: https://ehrshot.stanford.edu. Code to reproduce our results are available at our Github repo: https://github.com/som-shahlab/ehrshot-benchmark
Autoren: Michael Wornow, Rahul Thapa, Ethan Steinberg, Jason A. Fries, Nigam H. Shah
Letzte Aktualisierung: 2023-12-11 00:00:00
Sprache: English
Quell-URL: https://arxiv.org/abs/2307.02028
Quell-PDF: https://arxiv.org/pdf/2307.02028
Lizenz: https://creativecommons.org/licenses/by/4.0/
Änderungen: Diese Zusammenfassung wurde mit Unterstützung von AI erstellt und kann Ungenauigkeiten enthalten. Genaue Informationen entnehmen Sie bitte den hier verlinkten Originaldokumenten.
Vielen Dank an arxiv für die Nutzung seiner Open-Access-Interoperabilität.
Referenz Links
- https://github.com/som-shahlab/ehrshot-benchmark/
- https://github.com/som-shahlab/ehrshot-benchmark
- https://ehrshot.stanford.edu/
- https://www.stanford.edu/site/terms/
- https://github.com/som-shahlab/femr/blob/main/LICENSE
- https://huggingface.co/StanfordShahLab/clmbr-t-base
- https://github.com/som-shahlab/femr/
- https://ctan.org/pkg/graphicx
- https://ctan.org/pkg/booktabs
- https://ctan.org/pkg/xparse
- https://ehrshot.stanford.edu
- https://github.com/som-shahlab/femr
- https://docs.google.com/spreadsheets/d/1bnnRnkZBw_c7Nvh8ByLXGB0vNzpLr6iigLv2n_TwdF0/edit#gid=1620727197