Automatisierung von Entlassungsberichten mit Sprachmodellen

Klinische Dokumentation ist ein wichtiger Teil der täglichen Aufgaben eines Arztes, nimmt aber oft viel Zeit in Anspruch. Das Projekt "Discharge Me!" hat zum Ziel, es Ärzten einfacher zu machen, indem Teile der Entlassungszusammenfassungen automatisch generiert werden. Diese Zusammenfassungen beinhalten normalerweise einen kurzen Überblick über den Aufenthalt eines Patienten im Krankenhaus und Anweisungen, was nach der Entlassung zu tun ist. Diese Zusammenfassungen von Hand zu schreiben, kann langweilig und zeitaufwendig sein, weshalb fortschrittliche Sprachmodelle helfen könnten.

#Die Herausforderung

In der heutigen Gesundheitsversorgung müssen Ärzte viele Informationen in Elektronische Gesundheitsakten (EHRs) eintragen. Das kann Zeit rauben, die sie mit Patienten verbringen könnten, und führt möglicherweise sogar zu Stress und Burnout bei Gesundheitsdienstleistern. Sprachmodelle, also Computerprogramme, die menschliche Sprache verstehen und erzeugen können, haben gezeigt, dass sie diesen Dokumentationsaufwand reduzieren können. Neueste Studien haben ergeben, dass diese Modelle nützliche klinische Zusammenfassungen aus verschiedenen Textteilen, wie Patientennotizen und Arztdiskussionen, erstellen können.

Das Projekt "Discharge Me!" konzentriert sich speziell auf die Erstellung von Entlassungszusammenfassungen, da diese viel Aufwand erfordern und ziemlich kompliziert sein können. Dieses Papier beschreibt, wie unser Team an diesem Projekt teilgenommen hat und welche Methoden wir verwendet haben, um die Generierung der Entlassungszusammenfassungen zu verbessern.

#Methoden und Ansatz

Wir haben mehrere Open-Source-Sprachmodelle (LMs) verwendet, um die zwei wichtigen Teile der Entlassungszusammenfassungen zu generieren: den kurzen Krankenhausverlauf (BHC) und die Entlassungsanweisungen (DI). Um die besten Ergebnisse zu erzielen, haben wir diese Modelle so angepasst, dass sie sich auf diese Aufgaben konzentrieren. Wir haben die Modelle auf vorherige Inhalte in den Entlassungsnotizen konditioniert, was Kontext für die Generierung der Zielabschnitte lieferte.

Wir haben verschiedene Setups getestet, um zu sehen, wie sich Änderungen im Eingabekontext, bei den Dekodierungsmethoden und den Modellkombinationen auf die Ausgabewqualität auswirken können. Interessanterweise fanden wir heraus, dass kleinere Modelle manchmal gleich gut oder sogar besser abschneiden konnten als grössere. Die Ergebnisse zeigten, dass die Konditionierung auf den Inhalten der Entlassungsnotiz vor den Zielabschnitten einen Unterschied in der Qualität des generierten Textes machte.

#Aufgabe und Datensatz

Das Ziel des Projekts war es, zwei Hauptabschnitte aus den Entlassungsnotizen zu erstellen: den kurzen Krankenhausverlauf und die Entlassungsanweisungen. Der erste Abschnitt fasst zentrale Punkte zur Patientenversorgung im Krankenhaus zusammen, während der zweite dem Patienten klare Anweisungen für nach der Entlassung gibt. Diese Abschnitte richten sich an unterschiedliche Leser; die Klinikern lesen den kurzen Krankenhausverlauf, während sich die Patienten auf die Entlassungsanweisungen konzentrieren.

Die gemeinsame Aufgabe verwendete einen grossen Datensatz aus der MIMIC-IV-Datenbank, der Patientendaten enthielt. Die Daten wurden in Trainings-, Validierungs- und Testsets aufgeteilt. Die Teilnehmer konnten verschiedene Elemente aus den EHR-Daten über die Entlassungsnotizen hinaus für den Kontext nutzen.

#Verwendete Sprachmodelle

Wir haben beide Arten von Modellen für unsere Experimente betrachtet: nur-Dekoder-Modelle und Encoder-Dekoder-Modelle. Wir haben beliebte Open-Source-Modelle verwendet, darunter einige mit Anweisungstuning. Bei den Encoder-Dekoder-Modellen konzentrierten wir uns auf Modelle, die lange Eingabe- und Ausgabelängen verarbeiten konnten.

Wir haben diese Modelle unabhängig trainiert, um den kurzen Krankenhausverlauf und die Entlassungsanweisungen zu generieren. Jedes Modell durchlief ein Feintuning, wobei die nur-Dekoder-Modelle spezifische Trainingstechniken nutzten, um ihre Effektivität zu verbessern.

#Bewertung der Ergebnisse

Um die Leistung unserer Modelle zu bewerten, haben wir mehrere Evaluationsmetriken verwendet, die Aspekte wie Übereinstimmungen und semantische Ähnlichkeit messen. Wir haben die Ergebnisse für sowohl den kurzen Krankenhausverlauf als auch die Entlassungsanweisungen gemittelt, um einen Gesamtüberblick über die Leistung der Modelle zu erhalten.

In unserer Analyse stellten wir fest, dass beide Arten von Sprachmodellen gute Ergebnisse lieferten, wenn sie richtig feinjustiert wurden. Einige angepasste Modelle schnitten jedoch nicht so gut ab wie ihre Basisversionen, was darauf hinwies, dass Anweisungstuning nicht immer bessere Ergebnisse bringt.

Der Eingabekontext aus den Entlassungsnotizen war entscheidend für die Generierung der Zielabschnitte. Allerdings brachte die Einbeziehung zusätzlicher Inhalte, wie Radiologieberichte, keinen signifikanten Vorteil und verschlechterte in einigen Fällen die Ausgabe. Das deutet darauf hin, dass der bestehende Kontext in den Entlassungsnotizen oft ausreichend war, damit die Modelle effektiv arbeiten konnten.

Darüber hinaus deuten unsere Ergebnisse darauf hin, dass es vorteilhafter war, separate Modelle für jeden Abschnitt (BHC und DI) zu trainieren, als zu versuchen, die Aufgabe in ein Modell zu vereinen. Die Leistung von Modellen, die bessere Dekodierungsmethoden verwendeten, war gemischt, was zeigte, dass ein einfaches Umstellen der Methoden keine Verbesserungen garantierte.

#Analyse der Ergebnisse

Wir beobachteten, dass die Verwendung eines längeren Eingabekontexts nicht immer zu besseren Ergebnissen führte. Das könnte daran liegen, dass bereits ausreichend Informationen im kurzen Krankenhausverlauf und den Abschnitten vor den Entlassungsanweisungen vorhanden waren. Künftige Forschungen könnten sich darauf konzentrieren, unnötige Eingaben zu reduzieren, um Rauschen im Generierungsprozess zu vermeiden.

Interessanterweise fanden wir heraus, dass das Zusammenführen von Modellen oder das Kombinieren von Ausgaben aus verschiedenen Strategien nicht zu besseren Leistungen führte. Stattdessen hob es die Bedeutung hervor, spezialisierte Modelle für spezifische Aufgaben zu haben.

Unsere Experimente zeigten, dass das Feintuning kleinerer Sprachmodelle überraschend gute Ergebnisse liefern konnte. Während grössere Modelle normalerweise verlockend erscheinen, deuteten unsere Ergebnisse darauf hin, dass kleinere Modelle genauso effektiv bei der Erstellung bestimmter Ausgaben sein könnten.

#Fazit

Zusammenfassend hat unsere Arbeit am Projekt "Discharge Me!" das Potenzial aufgezeigt, fortschrittliche Sprachmodelle zur Generierung hochwertiger Entlassungszusammenfassungen zu nutzen. Wir haben gezeigt, dass das sorgfältige Feintuning von Modellen mit relevantem Eingabekontext zu erheblichen Verbesserungen bei der Generierung von Abschnitten klinischer Notizen führen kann.

Während unser Ansatz vielversprechende Ergebnisse lieferte, ist weitere Forschung erforderlich, um die optimale Nutzung verschiedener EHR-Datenquellen zu erkunden und wie diese Modelle den Klinikern bei ihren täglichen Dokumentationsaufgaben helfen könnten.

Insgesamt hebt dieses Projekt nicht nur die Fähigkeiten von Sprachmodellen im Gesundheitswesen hervor, sondern öffnet auch Türen für zukünftige Arbeiten, um die Effizienz der klinischen Dokumentation weiter zu verbessern.