Vergleich von KI-Systemen zur Vorhersage des Delirium-Risikos

Dieser Artikel betrachtet, wie gut zwei Systeme das Risiko von Delirium vorhersagen können, einem ernsten Zustand, der Patienten, besonders in Gesundheitseinrichtungen, betreffen kann. Die verglichenen Systeme sind GPT-4, ein grosses Sprachmodell (LLM), und clinalytix Medical AI, das speziell für medizinische Zwecke entwickelt wurde.

#Ergebnisse zur Leistung

Die Studie hat gezeigt, dass GPT-4 Schwierigkeiten hatte, Patienten zu identifizieren, die ein Risiko für Delirium hatten. Es hat eine grosse Anzahl von echten positiven Fällen verpasst, was bedeutet, dass es nicht erkannte, welche Patienten tatsächlich gefährdet waren. Im Gegensatz dazu schnitt clinalytix Medical AI viel besser ab, wenn es darum ging, genaue Vorhersagen über das Deliriumrisiko zu machen.

Die Analyse der Ausgaben von GPT-4 zeigte Gründe für seine schwache Leistung. Das steht im Einklang mit Problemen, die bereits in anderen Studien über LLMs in klinischen Aufgaben festgestellt wurden. Insgesamt wurde klar, dass LLMs Schwierigkeiten haben, Gesundheitsprobleme zu diagnostizieren und Daten aus klinischen Umgebungen zu interpretierten.

#Die Rolle von LLMs im Gesundheitswesen

Trotz ihrer Einschränkungen haben LLMs wie GPT-4 immer noch Potenzial im Gesundheitswesen. Sie für eigenständige klinische Entscheidungen zu verwenden, ist jedoch momentan keine gute Idee. Stattdessen sollten diese Modelle als Werkzeuge zur Unterstützung von Gesundheitsprofis eingesetzt werden, die Hauptentscheidungen in der Patientenversorgung treffen müssen.

#Interesse an Natural Language Processing (NLP)

Gesundheitsprofis interessieren sich zunehmend für die Nutzung von Technologien zur Verarbeitung natürlicher Sprache (NLP). Diese Technologien können medizinische Informationen analysieren und interpretieren, was dem Gesundheitswesen zugutekommt. Klinische Sprachmodelle haben das Potenzial, das Gesundheitswesen zu verbessern, indem sie eine Vielzahl von medizinischen Literatur und klinischen Daten aus der realen Welt verarbeiten.

Ein bemerkenswertes Beispiel für Fortschritte in diesem Bereich ist Med-PaLM, das erste KI-System, das beim United States Medical Licensing Examination (USMLE) gut abschnitt. Mit weiteren Fortschritten erreichte Med-PaLM 2 eine hohe Punktzahl bei USMLE-Fragen. Eine andere Version, Med-PaLM M, kann Informationen aus mehreren medizinischen Datenquellen analysieren, einschliesslich Bildern und Gesundheitsakten.

#Die Herausforderung bei der Nutzung von LLMs in klinischen Umgebungen

Die Studie wirft die Frage auf, ob LLMs effektiv in klinischen Umgebungen eingesetzt werden können. Aktuelle Modelle warnen vor ihrer Verwendung bei klinischen Entscheidungen, aber man hofft, dass sie im Laufe der Zeit sowohl Vertrauen als auch Zuverlässigkeit aufbauen können. Das ultimative Ziel ist, dass Modelle ein Genauigkeitsniveau erreichen, das dem menschlicher Kliniker entspricht oder es sogar übertrifft.

#Überblick über die Studie

Die Studie zielte darauf ab, die Leistung von GPT-4 mit clinalytix Medical AI bei der Vorhersage des Deliriumrisikos zu vergleichen. Daten wurden aus 190 Fällen gesammelt, die sowohl Patienten mit als auch ohne Delirium beinhalteten. Der Datensatz enthielt Freitexte aus elektronischen Gesundheitsakten (EHRs) und strukturierte Daten wie Laboruntersuchungen und Medikationsaufzeichnungen.

Für clinalytix Medical AI wurde eine spezifische Kalibrierungsmethode für die Vorhersagen verwendet. Bei GPT-4 wurde alle Informationen als Text umformatiert. Wenn die Datengrösse das verarbeiten konnte, was GPT-4 bewältigen konnte, wurde ältere Information entfernt, bis die Daten in die Grenzen des Modells passten. Ziel war es, dass das Modell jeden Fall bewertet und eine Risiko-Score für Delirium bereitstellt.

#Leistungsvergleich

Die Ergebnisse zeigten einen klaren Unterschied zwischen den beiden Modellen. Clinalytix Medical AI war deutlich genauer bei der Vorhersage des Deliriumrisikos. GPT-4 machte nur eine falsche positive Vorhersage und bewertete einen Fall als risikobehaftet. Es verpasste jedoch etwa 38 % der Patienten, die tatsächlich gefährdet waren, was zu vielen falsch negativen Ergebnissen führte.

#Bedarf an zusätzlichen Informationen

Die Vorhersage des Deliriumrisikos ist nur ein Teil der Gleichung im Gesundheitswesen. Zusätzliche Informationen sind notwendig, um die richtige Behandlung zu entscheiden. Clinalytix Medical AI geht über blosse Vorhersagen hinaus und bietet eine kalibrierte Wahrscheinlichkeitsbewertung, die die Wahrscheinlichkeit von Delirium genau widerspiegelt. Im Gegensatz dazu bot GPT-4 selbst bei Aufforderungen keine zuverlässigen Wahrscheinlichkeitsabschätzungen.

#Bedeutung der Erklärbarkeit

Erklärbarkeit ist entscheidend bei klinischen Risikoabschätzungen, da Gesundheitsprofis verstehen müssen, warum ein Modell spezifische Vorhersagen trifft. Techniken wie LIME und SHAP wurden in clinalytix Medical AI verwendet, um die Gründe hinter den Vorhersagen sichtbar zu machen. Bei GPT-4 werden Erklärungen generiert, wenn danach gefragt wird, aber diese können manchmal irreführend sein. Das LLM kann plausibel klingende Erklärungen liefern, die jedoch möglicherweise nicht auf echtem Wissen basieren, was Bedenken hinsichtlich ihrer Validität aufwirft.

#Verständnis von Fehlvorhersagen

Die Studie untersuchte, warum GPT-4 falsche Vorhersagen machte. Einige mögliche Gründe sind:

1. Einschränkungen des Kontextfensters: GPT-4 hat eine maximale Grenze dafür, wie viel Text es auf einmal verarbeiten kann. Wenn die Daten für einen Patienten diese Grenze überschreiten, könnten wichtige Informationen verloren gehen, was zu Fehlern bei den Vorhersagen führt.

2. Risiko vorhersagen vs. Bedingungen erkennen: Das LLM identifizierte manchmal wichtige Begriffe, gab jedoch kein Risikoniveau an, wenn keine klaren Anzeichen für Delirium vorhanden waren. Das bedeutet, es agierte eher als Detektor für Delirium, anstatt Risikostufen zu beurteilen, was die Genauigkeit beeinträchtigen könnte.

3. Bevorzugung von Datentypen: Das Modell verliess sich stark auf Textdaten, tat sich aber schwer damit, Laborergebnisse oder andere strukturierte Daten sinnvoll zu verarbeiten. Dies wurde als häufiges Problem bei LLMs dokumentiert.

#Komplexität von LLMs

Angesichts der Komplexität von LLMs ist es nicht einfach zu bestimmen, warum sie spezifische Vorhersagen treffen. Die Untersuchung stellte fest, dass die alleinige Verwendung von GPT-4 keine zuverlässige Möglichkeit war, das Risiko von Delirium abzuschätzen. Es verpasste häufig positive Fälle und vermied es, ein Risiko anzugeben, es sei denn, es lagen sehr klare Anzeichen vor. Verschiedene Faktoren trugen zu diesen Problemen bei, einschliesslich der Grenzen, wie viel Daten das Modell verarbeiten konnte, wie es die Aufgabe angegangen hat und welche Datentypen es priorisierte.

#Die Herausforderung der Kontextfenster

Während der Studie hatte GPT-4 ein Kontextfenster von 8.000 Tokens, was bedeutet, dass, wenn die Patientendaten darüber hinausgingen, sie gekürzt werden mussten. Diese Kürzung könnte dazu führen, dass wertvolle Informationen verloren gehen, die dem Modell helfen könnten, bessere Vorhersagen zu treffen. Fortschritte bei LLMs haben Modelle mit grösseren Kontextfenstern hervorgebracht, wie Claude 2.1, das 200.000 Tokens verarbeiten kann. Dennoch treten selbst bei diesen grösseren Fenstern Probleme auf, da LLMs oft den Informationen am Anfang oder Ende des Inputs mehr Aufmerksamkeit schenken und wichtige Details in der Mitte übersehen können.

#Unterschiede in der Modellleistung

Eine wichtige Frage ist, ob die Probleme mit GPT-4 einzigartig für dieses spezielle Modell sind oder ob andere Modelle ähnliche Ergebnisse zeigen würden. Jüngste Studien zeigen, dass selbst die besten LLMs Patienten oft nicht so genau diagnostizieren wie menschliche Ärzte. Es wurde festgestellt, dass LLMs keine etablierten klinischen Richtlinien befolgen, was andeutet, dass sie noch nicht für eigenständige klinische Entscheidungen geeignet sind.

#Warum LLMs in der realen Anwendung Schwierigkeiten haben

Obwohl einige LLMs gezeigt haben, dass sie medizinische Fragen effektiv beantworten können, taucht die echte Herausforderung in komplexen, realen Szenarien auf. Echte klinische Daten sind vielfältig und beinhalten viele Typen, was es LLMs erschwert, sie genau zu analysieren. Tatsächlich zeigt die Forschung, dass mehr Daten die Leistung von LLMs verringern können, wenn sie sich nicht auf relevante Details konzentrieren.

#Verhaltensvariabilität bei LLMs

LLMs verhalten sich inkonsistent, was ihre Leistung beeinflussen kann. Zum Beispiel kann eine einfache Änderung der Reihenfolge der Informationen zu sehr unterschiedlichen Ausgaben führen. Diese Inkonsistenz ist bei menschlichen Ärzten nicht typisch und deutet auf potenzielle Probleme mit LLMs hin. Ausserdem bevorzugte das Modell oft Text gegenüber tabellarischen Daten wie Laborergebnissen.

#Vorsicht bei der Nutzung

Die generative Natur von LLMs erlaubt es ihnen, Texte zu produzieren, die sinnvoll klingen, aber keine Garantie für Genauigkeit bieten. Studien zeigen erhebliche Unterschiede in Diagnosen, die von LLMs im Vergleich zu menschlichen Experten gestellt werden. Frühere Forschungen fanden heraus, dass während LLMs angemessene Vorschläge machen konnten, sie oft komplexere Einsichten übersahen, was die Notwendigkeit menschlicher Aufsicht betont.

#Fazit

Die Ergebnisse weisen auf die Grenzen von LLMs wie GPT-4 hin, wenn es darum geht, das Risiko von Delirium im Vergleich zu spezialisierten Systemen wie clinalytix Medical AI genau vorherzusagen. Aktuelle Modelle kämpfen mit den Komplexitäten echter medizinischer Daten. Während LLMs Gesundheitsprofis unterstützen können, sollten sie sie nicht bei kritischen klinischen Entscheidungen ersetzen. Menschliche Aufsicht bleibt notwendig, um die beste Versorgung für Patienten zu gewährleisten.