Verbesserung der Patientenabstimmung in klinischen Studien

Die richtigen Patienten für Klinische Studien zu finden, ist ne grosse Herausforderung, um neue Medikamente auf den Markt zu bringen. Viele Studien haben Schwierigkeiten, genug geeignete Teilnehmer zu rekrutieren, was zu Verzögerungen und höheren Kosten führt. Traditionelle Methoden zur Identifizierung von potenziellen Kandidaten sind oft sehr arbeitsintensiv und dauern lange. Da die meisten relevanten Patientendaten als unstrukturierter Text gespeichert sind, wie zum Beispiel Arztberichte und Laboruntersuchungen, kann der Prozess kompliziert und ineffizient sein. Aber Fortschritte in der Technologie, vor allem durch den Einsatz von grossen Sprachmodellen (LLMs), zeigen vielversprechende Ansätze zur Verbesserung dieses Prozesses.

#Das Problem

Genug geeignete Patienten zu rekrutieren, ist zum echten Flaschenhals in klinischen Studien geworden. Ungefähr ein Drittel der klinischen Studien scheitern, weil sie nicht genug geeignete Probanden finden, wobei die Rekrutierungskosten einen beträchtlichen Teil des Budgets ausmachen. Für Patienten kann die Teilnahme an Studien den Zugang zu neuen Behandlungen, bessere Überwachung und möglicherweise verbesserte Gesundheitsresultate bieten. Trotzdem sind viele Patienten sich nicht bewusst, dass sie für Studien in Frage kommen, oft weil ihre Ärzte sie nicht informieren. Das liegt häufig an der arbeitsintensiven und zeitaufwändigen Natur der Überprüfung der Patientenberechtigung.

In klinischen Studien muss jeder potenzielle Teilnehmer bestimmte Eignungskriterien erfüllen, die zahlreich und detailliert sein können. Diese Patienten zu identifizieren, erfordert normalerweise einen klinischen Forschungskoordinator, der die elektronischen Gesundheitsakten (EHRs) manuell durchforstet. Ein grosser Teil der notwendigen Informationen wird normalerweise als unstrukturierter Text präsentiert, was eine automatische Verarbeitung schwierig macht. Zum Beispiel kann die Überprüfung eines einzelnen Patienten für eine Phase III-Krebsstudie fast eine Stunde in Anspruch nehmen.

Bestehende Techniken der natürlichen Sprachverarbeitung (NLP) hatten Schwierigkeiten mit klinischem Text aufgrund seiner einzigartigen Struktur und Terminologie. LLMs haben das Potenzial, die Art und Weise zu verändern, wie diese Aufgaben erledigt werden, und bieten eine effizientere Methode, um Patienten mit Studien zu matchen.

#Ziele

Diese Arbeit zielt darauf ab, den Einsatz von LLMs im Patienten-Matching-Prozess für klinische Studien zu bewerten. Unser Hauptfokus liegt auf der Effizienz dieser Ansätze, einschliesslich der Zeit und Kosten, die damit verbunden sind. Wir haben ein System entwickelt, das LLMs verwendet, um festzustellen, ob Patienten bestimmte Eignungskriterien basierend auf ihrer medizinischen Vorgeschichte, die als unstrukturierter Text präsentiert wird, erfüllen.

#Ansatz

Unsere Studie untersucht die Anwendung von LLMs für das Matching von klinischen Studien durch zwei Hauptsystemdesigns:

1. Das erste Design verwendet die gesamte medizinische Geschichte des Patienten als Eingabe für das LLM, um die Eignungskriterien zu bewerten. Dieser Prozess ermöglicht es dem Modell, Bewertungen basierend auf allen verfügbaren Informationen zu generieren.

2. Das zweite Design verfolgt einen zweistufigen Ansatz. Zuerst werden die Notizen des Patienten gefiltert, um die relevantesten Abschnitte zu extrahieren, bevor nur die ausgewählten Teile dem LLM zur Analyse vorgelegt werden.

#Methodologie

#Zero-Shot-Evaluierung

In unserem ersten Evaluierungsprozess haben wir eine Zero-Shot-Technik eingesetzt. Das bedeutet, dass wir das Modell angewiesen haben, die Patientenberechtigung ohne zusätzliche Trainings- oder Kontextbeispiele zu bewerten. Wir haben dem Modell die gesamte medizinische Geschichte jedes Patienten zur Verfügung gestellt und es gebeten, alle Kriterien auf einmal mit verschiedenen Eingabestrategien zu bewerten.

#Eingabestrategien

Wir haben verschiedene Methoden getestet, um die Eingaben zu strukturieren, um herauszufinden, welche am effizientesten war. Wir haben unterschiedliche Strategien verwendet, um zu sehen, wie gut das LLM abschneidet, wenn es unterschiedliche Mengen an Informationen erhält. Einige Strategien beinhalteten, alle Patientennotizen in einer Eingabe zusammenzuführen, während andere individuelle Notizen separat bereitstellten.

#Daten und Code

Die Studie verwendete den Datensatz der n2c2 Cohort Selection Challenge von 2018, der Patientendaten und die entsprechenden Eignungskriterien umfasste. Der Datensatz ermöglichte es uns, die Leistung unseres LLM-basierten Systems mit bestehenden Methoden im Patienten-Matching zu vergleichen.

#Ergebnisse

Unsere Ergebnisse zeigen, dass der Einsatz von LLMs im Patienten-Matching die Effizienz und Effektivität bei der Identifizierung geeigneter Patienten für klinische Studien erheblich verbessern kann.

#Leistungskennzahlen

Wir haben die Leistung des Modells anhand mehrerer wichtiger Kennzahlen bewertet, darunter Präzision, Recall und den Gesamt-F1-Score. Diese Kennzahlen halfen dabei, zu messen, wie genau das Modell bestimmen konnte, ob die Patienten die erforderlichen Eignungskriterien für die Studie erfüllten.

#Kosten und Effizienz

Eines der herausragenden Ergebnisse ist die deutliche Reduktion sowohl der Zeit als auch der Kosten, die mit der Evaluierung von Patienten verbunden sind. Unser System zeigte, dass es die Eignungsbewertungen von Patienten viel schneller verarbeiten konnte als traditionelle Methoden, wodurch die Gesamtkosten für das Screening erheblich gesenkt wurden.

#Interpretierbarkeit

Ein wichtiger Aspekt unserer Studie war die Interpretierbarkeit der Entscheidungen des Modells. Wir haben bewertet, wie gut das LLM seine Überlegungen erklären konnte, wenn es entschied, ob ein Patient die Eignungskriterien erfüllte. Diese Fähigkeit ermöglicht es Klinikern, die Ausgaben zu überprüfen und Vertrauen in die Bewertungen des Modells zu haben.

#Beurteilung durch Klinikern

Wir liessen Klinikern die Begründungen des LLM für jede Entscheidung zur Patientenberechtigung bewerten. Diese Evaluierung ergab, dass das Modell zusammenhängende und logische Erklärungen für die Mehrheit seiner Vorhersagen liefern konnte. Bei richtigen Entscheidungen wurden ein hoher Prozentsatz der Begründungen als völlig korrekt angesehen.

#Einschränkungen

Obwohl die Ergebnisse vielversprechend sind, gibt es Einschränkungen in unserer Studie, die berücksichtigt werden müssen. Der verwendete Datensatz war im Vergleich zu den riesigen Datenmengen in vielen Gesundheitssystemen relativ klein. Daher sind zur effektiven Implementierung dieses Modells in der realen Welt weitere Verbesserungen erforderlich.

#Zukünftige Richtungen

Mit den ermutigenden Ergebnissen dieser Studie glauben wir, dass es zahlreiche Forschungsrichtungen gibt, die weiter erkundet werden können. Zukünftige Untersuchungen könnten die Verfeinerung der Eignungskriterien oder die Verbesserung des LLM umfassen, um seine Leistung noch weiter zu steigern. Es gibt ein erhebliches Potenzial für LLMs, eine entscheidende Rolle in der Zukunft der Identifizierung von Patienten für klinische Studien zu spielen.

#Fazit

Zusammenfassend zeigt unsere Arbeit das Potenzial von LLMs, den Patienten-Matching-Prozess für klinische Studien zu verbessern. Durch die Bereitstellung genauer Bewertungen in einem Bruchteil der Zeit und Kosten, die traditionell erforderlich sind, können diese Modelle einen erheblichen Einfluss auf die klinische Forschung haben. Angesichts der entscheidenden Bedeutung der Patientenrekrutierung für die Arzneimittelentwicklung hoffen wir, dass diese Forschung weitere Erkundungen der Anwendung fortschrittlicher maschineller Lerntechniken in klinischen Studien fördern wird.