Generierung von synthetischen Daten für klinische Sprachmodelle

Klinische Sprachmodelle spielen eine grosse Rolle im Gesundheitswesen, indem sie bei Aufgaben wie Entscheidungsunterstützung und dem Verständnis von Patientendaten helfen. Aber um diese Modelle zu entwickeln, braucht man Zugang zu vielen klinischen Texten, was aufgrund von Datenschutzbestimmungen schwierig sein kann. Diese Studie schaut sich an, wie wir bestehende Klinische Notizen mit grossen Sprachmodellen (LLMs) umformulieren können, um synthetische Trainingsdaten zu erstellen. Damit wollen wir Gesundheitsinstitutionen unterstützen, bessere Modelle zu entwickeln, ohne nur auf echte klinische Notizen angewiesen zu sein.

#Der Bedarf an klinischen Daten

Im Gesundheitswesen werden Sprachmodelle immer wichtiger, da sie verschiedene Anwendungen verbessern können. Damit diese Modelle gut funktionieren, müssen sie mit klinischen Daten trainiert werden. Dieser Trainingsprozess, der Pretraining genannt wird, hilft den Modellen, sich an die speziellen Bedürfnisse des Gesundheitswesens anzupassen. Leider machen Datenschutz- und Compliance-Regeln, die elektronische Gesundheitsakten (EHRs) betreffen, es schwierig, ausreichend klinische Notizen für diesen Zweck zu bekommen.

Während einige grosse Gesundheitsorganisationen ihre eigenen EHR-Daten für das Training nutzen können, ist das für kleinere Einrichtungen nicht möglich. Das führt dazu, dass die Forschung, die auf bessere Sprachmodelle abzielt, langsamer vorangeht und sich nicht so schnell entwickelt.

#Erkundung von synthetischen Daten

Um den Mangel an klinischen Daten zu bekämpfen, haben Forscher Synthetische Daten für verschiedene klinische Aufgaben untersucht. Einige bestehende Methoden funktionieren gut, sind aber hauptsächlich auf spezifische Aufgaben fokussiert und nicht auf allgemeines Training. Ein neulich ausprobierter Ansatz verwendete ChatGPT, um klinische Zusammenfassungen basierend auf Patientenprofilen in medizinischer Literatur zu erstellen. Während diese Methode vielversprechend ist, um synthetische klinische Notizen zu generieren, hängt sie stark vom bestehenden Wissen des LLM ab, was zu Ungenauigkeiten führen kann.

Statt von Grund auf neu zu beginnen, schlägt diese Studie vor, echte klinische Notizen zu nehmen und sie mit LLMs umzuformulieren. Diese Methode ist inspiriert von früheren Arbeiten, die gezeigt haben, wie das Umformulieren von Webdaten allgemeinen Sprachmodellen zugute kommen kann. Durch die Nutzung vorhandener EHR-Daten können wir ein zuverlässigeres synthetisches Trainingsdatenset erstellen.

#So funktioniert das Umformulieren

Für unseren Ansatz verwenden wir verschiedene LLMs, um klinische Notizen umzuformulieren. Das Ziel ist es, Pretraining-Daten zu erstellen, die den Modellen helfen, klinische Sprache besser zu verstehen. Wir haben drei verschiedene Prompts entwickelt, um zu steuern, wie die LLMs diese Notizen umformulieren sollen, mit Fokus auf Klarheit, Professionalität und medizinische Genauigkeit.

1. Prompt 1: Fordert das LLM auf, eine vielfältige Umformulierung in hochwertigem Englisch zu erstellen, wie man sie auf Wikipedia finden würde.
2. Prompt 2: Ähnlich wie Prompt 1, aber speziell mit der Bitte um einen professionellen medizinischen Ton.
3. Prompt 3: Baut auf Prompt 2 auf, indem es das LLM auffordert, medizinische Begriffe zu erklären.

Mit diesen Prompts teilen wir die klinischen Notizen in handhabbare Abschnitte, die die LLMs verarbeiten können. Es ist wichtig, diese Abschnitte angemessen klein zu halten – etwa 300 Tokens –, um sicherzustellen, dass das LLM beim Umformulieren keine wichtigen Informationen verliert.

#Die verwendeten LLMs zum Umformulieren

Wir haben vier kleinere LLMs mit weniger als 10 Milliarden Parametern untersucht, um zu sehen, wie gut sie mit klinischem Text umgehen konnten. Dazu gehören Llama-3.1, Mistral-0.3, Qwen-2 und Gemma-2. Wir haben grössere Modelle vermieden, da sie in der Regel mehr Ressourcen benötigen und für unsere Bedürfnisse nicht so effizient waren.

Für unsere Ausgangsdaten haben wir Entlassungszusammenfassungen aus der MIMIC-III-Datenbank verwendet. Diese Zusammenfassungen bieten einen umfassenden Überblick über die Patientenversorgung und sind eine wertvolle Quelle zur Erstellung vielfältiger und bedeutungsvoller klinischer Daten.

#Bewertung der Perplexität

Um zu sehen, wie gut unser Umformulierungsansatz funktioniert hat, haben wir die Perplexität der Sprachmodelle auf den synthetischen Daten gemessen, die sie produziert haben. Niedrigere Perplexitätswerte deuten auf eine bessere Leistung beim Verständnis und der Generierung von Sprache hin. Unsere Ergebnisse zeigten, dass die Umformulierungsmethode deutlich besser abschnitt als frühere synthetische Datenmethoden, die keine echten klinischen Notizen verwendet hatten.

Interessanterweise fanden wir heraus, dass verschiedene LLMs unterschiedlich auf die Prompts reagierten. Zum Beispiel schnitt Qwen-2 bei medizinisch fokussierten Prompts besser ab, während Mistral-0.3 bei für allgemeine Umformulierungen gedachten Prompts gut performed.

#Feinabstimmung mit echten und synthetischen Notizen

Dann haben wir untersucht, wie encoderbasierte Sprachmodelle mit echten und synthetischen klinischen Notizen feinjustiert werden können. Das hilft, die Lücke zu schliessen, wo Gesundheitsinstitutionen möglicherweise nicht genügend genehmigte EHR-Daten haben, um ihre Modelle zu trainieren.

Wir haben unsere Modelle in mehreren klinischen NLP-Aufgaben getestet, wie zum Beispiel natürliche Sprachinferenz und die Erkennung benannter Entitäten. Die Daten zeigten, dass Modelle, die mit synthetischen Notizen ergänzt wurden, im Allgemeinen besser abschnitten als Standardmodelle, was die Vorteile unserer Umformulierungstrategie unterstreicht.

#Vielversprechende Ergebnisse

Durch unsere Experimente haben wir gezeigt, dass die Kombination von synthetischen Daten, die durch verschiedene Prompts generiert wurden, zu einer stärkeren Leistung führen kann. Interessanterweise haben einige Prompts die Leistung in Perplexitätstests behindert, aber die Ergebnisse der Feinabstimmung verbessert. Das deutet darauf hin, dass bestimmte Prompts möglicherweise besser für spezifische Aufgaben geeignet sind.

Unser Ansatz ist besonders spannend, da er im Vergleich zu traditionellen Methoden ein viel kleineres Ressourcen- und Token-Budget erfordert und trotzdem überlegene Ergebnisse erzielt.

#Zukünftige Richtungen

Während sich diese Studie auf die quantitative Wirksamkeit des Umformulierens konzentrierte, erkennen wir auch die Bedeutung der qualitativen Analyse an. Zu verstehen, wie gut die umformulierten Notizen die ursprüngliche Bedeutung und Struktur beibehalten, wird für zukünftige Forschungen entscheidend sein.

Es ist wichtig sicherzustellen, dass die LLMs beim Umformulieren klinischer Notizen nicht unbeabsichtigt die Bedeutung verändern oder Ungenauigkeiten in die Informationen einführen. Zukünftige Studien werden untersuchen, wie sich verschiedene Prompts auf die Qualität des Umformulierens auswirken und ob sie zu Vorurteilen oder Ungenauigkeiten im generierten Text führen.

Ausserdem wollen wir unser Datenset erweitern, indem wir mehr Arten von klinischen Notizen einbeziehen, was helfen wird, stärkere Modelle für eine Vielzahl von Gesundheitsanwendungen zu erstellen.

#Fazit

Unsere Forschung hebt das Potenzial hervor, LLMs zu nutzen, um klinische Notizen umzuformulieren und Pretraining-Datensätze für Sprachmodelle zu generieren. Wenn wir diese Methode weiter erforschen und ausbauen, können wir die Entwicklung effektiver klinischer Sprachmodelle verbessern, die die Patientenversorgung verbessern und Gesundheitsfachkräfte unterstützen.

#Beispiele umformulierter Notizen

Um einen Einblick in unseren Prozess zu geben, haben wir Beispiele von den vier LLMs basierend auf realen klinischen Texten umformuliert. Jedes Modell produzierte leicht unterschiedliche Ausgaben, die ihre individuellen Stärken und Stile zeigen. Einige hielten die Struktur der ursprünglichen Notiz aufrecht, während andere prägnanter waren.

Diese stilistischen Unterschiede zu verstehen, wird entscheidend sein, während wir an der Verfeinerung unserer Methoden und der Verbesserung der Qualität der synthetischen Daten, die wir produzieren, arbeiten.

#Die Zukunft der klinischen Sprachmodelle

Die Landschaft des Gesundheitswesens verändert sich ständig, und der Bedarf an zuverlässigen, effizienten Werkzeugen zur Verarbeitung klinischer Informationen wächst weiter. Während wir unser Verständnis und unsere Techniken zur Generierung von Trainingsdaten weiter vorantreiben, wird das Potenzial zur Verbesserung der Ergebnisse im Gesundheitswesen deutlicher.

Indem wir uns auf die Umformulierung bestehender klinischer Notizen konzentrieren, respektieren wir nicht nur die Privatsphäre der Patienten, sondern schaffen auch wertvolle Ressourcen, die dazu beitragen können, die nächste Generation klinischer Sprachmodelle voranzubringen. Die Kombination aus echten und synthetischen Daten birgt das Potenzial für effektivere, skalierbare Lösungen, die den Bedürfnissen von Gesundheitsfachkräften gerecht werden und eine bessere Patientenversorgung unterstützen können.

Während wir mit dieser Forschung voranschreiten, danken wir unseren Gutachtern für ihr aufschlussreiches Feedback, das half, diese Arbeit zu verbessern. Wir freuen uns darauf, grössere Datensätze zu veröffentlichen, um diese Ergebnisse weiter zu untersuchen und zur laufenden Entwicklung klinischer Sprachmodelle im Gesundheitswesen beizutragen.