Fortschritte in der KI für die Analyse von Knochen-Röntgenaufnahmen

In den letzten Jahren hat die künstliche Intelligenz grosse Fortschritte im Bereich der medizinischen Bildgebung gemacht, besonders bei der Analyse von Röntgenbildern. Ein neuer Ansatz verbindet visuelle Daten aus Röntgenbildern mit Textdaten aus medizinischen Berichten. Diese Technik zeigt vielversprechende Ansätze zur Verbesserung der Genauigkeit bei der Diagnose von knochenbezogenen Problemen. In diesem Kontext konzentrierte sich eine spezielle Studie auf Knochensröntgen und Berichte, die auf Französisch verfasst wurden. Das Ziel war, ein Modell zu erstellen, das beide Datentypen verstehen kann und verschiedene Analysen mit minimaler menschlicher Beteiligung durchführt.

#Hintergrund

Der medizinische Bereich sieht sich oft mit Herausforderungen konfrontiert, grosse Datensätze für das Training von Machine-Learning-Modellen zu beschaffen, hauptsächlich aufgrund von Datenschutzbedenken und der begrenzten Verfügbarkeit von nicht-englischen Berichten. Die meisten öffentlich verfügbaren Datensätze enthalten Bilder und Berichte nur auf Englisch, was es schwierig macht, diese Modelle auf andere Sprachen anzuwenden, ohne signifikante Änderungen vorzunehmen. Ein prominenter Datensatz ist MIMIC-CXR, der sich auf Brust-Röntgenbilder konzentriert. Allerdings gibt es für Knochendiagnosen, die für die orthopädische Beurteilung entscheidend sind, viel kleinere Datensätze.

Datenschutzbestimmungen, insbesondere die Datenschutz-Grundverordnung (DSGVO), legen strenge Regeln für die Weitergabe persönlicher medizinischer Informationen fest. Diese Einschränkung zwingt Forscher dazu, lokale Daten innerhalb von Krankenhäusern zu suchen, die eigene Archive von Röntgenbildern und entsprechenden Berichten haben. Solche Datenbanken sind möglicherweise nicht umfangreich, enthalten aber wertvolle Informationen für das Training und die Validierung von Machine-Learning-Modellen.

#Der vorgeschlagene Ansatz

Diese Studie nutzt Röntgenbilder von Knochen zusammen mit medizinischen Berichten, die auf Französisch aus einem einzigen Universitätskrankenhaus verfasst wurden. Das Ziel ist, ein Modell zu erstellen, das sowohl visuelle als auch textuelle Darstellungen zusammenbringt, damit es verschiedene Aufgaben in der Knochendiagnostik durchführen kann. Zu den Aufgaben gehören die Bewertung des Schweregrads von Arthrose, die Schätzung des Knochenalters bei Kindern und die Erkennung von Frakturen oder Anomalien.

Um die Privatsphäre der Patienten zu gewährleisten, beinhaltet die Verarbeitungspipeline die Anonymisierung und sorgfältige Handhabung der medizinischen Berichte. Die erste Phase des Projekts konzentriert sich darauf, einen robusten Trainingsdatensatz durch einen methodischen Ansatz zur Paarung von Bildern und Berichten zu erstellen.

#Datensatzvorbereitung

Die Forscher haben einen Datensatz aus Röntgenbildern und entsprechenden medizinischen Berichten erstellt, was zu einer umfangreichen Sammlung von 219.675 Studien führte, die über 789.000 einzelne Röntgenbilder umfassten. Dieser Datensatz stammt von Patienten, die über 20 Jahre in der orthopädischen Abteilung eines Universitätskrankenhauses behandelt wurden. Die Erstellung umfasste mehrere Schritte, um die Privatsphäre der Patienten zu wahren, darunter das Entfernen identifizierbarer Informationen und die Anwendung von Pseudonymisierungstechniken.

Die Bilder wurden gefiltert, um solche mit sensiblen Texten zu entfernen, während die medizinischen Berichte automatisiert bearbeitet wurden, um persönliche Details zu beseitigen. Diese gründliche Vorbereitung führte zu einem Datensatz, der für das Training von Machine-Learning-Modellen genutzt werden konnte, während strenge Datenschutzstandards eingehalten wurden.

#Modelltraining

Der Kern der Studie liegt im Training eines Modells, das sowohl Bilder als auch Text gleichzeitig verarbeiten kann. Der Ansatz, der verfolgt wurde, wird als Vision-Language Pretraining (VLP) bezeichnet. Diese Methode umfasste die Ausrichtung der Darstellungen von Bildern und Berichten, damit das Modell effektiv aus beiden Datentypen lernen kann.

Ein Bi-Encoder-Framework wurde verwendet, bei dem separate Encoder Text und Bilder verarbeiteten. Der Text-Encoder wurde aus mehreren Optionen ausgewählt, wobei mehrsprachige Modelle besser abschnitten als solche, die speziell für französische biomedizinische Texte entwickelt wurden. Der Bild-Encoder wurde mit einem modernen Modell initialisiert, das verschiedene Auflösungen verarbeiten kann. Das Training fand hauptsächlich bei unterschiedlichen Auflösungen statt, um zu beurteilen, wie sich diese Änderungen auf die Modellleistung auswirkten.

Während des Trainings war das Ziel, den Abstand zwischen den Darstellungen von gepaarten Bildern und Texten zu verringern, während der Abstand zwischen nicht verwandten erhöht wurde. Dieser Prozess erfordert sorgfältiges Feintuning und eine Vielzahl von Techniken zur Leistungsverbesserung.

#Bewertung der Modellleistung

Nach dem Training wurde das Modell in verschiedenen Aufgaben evaluiert, um seine Wirksamkeit in realen Anwendungen zu messen. Diese Aufgaben wurden in solche unterteilt, die auf Daten aus demselben Krankenhaus trainiert wurden, sowie solche, die externe Datensätze verwendeten.

Die Forscher haben einen kleinen überwachten Datensatz ausschliesslich zu diesem Zweck erstellt, der die Frakturenerkennung beinhaltete. Die Ergebnisse zeigten, dass das Modell deutlich besser abschnitt als andere, die nur auf allgemein verfügbaren Datensätzen trainiert wurden. Dies war bemerkenswert, selbst wenn deutlich weniger Bilder für das Training verwendet wurden, was die Effizienz des vorgeschlagenen Ansatzes verdeutlicht.

Darüber hinaus wurde das Modell an mehreren externen Datensätzen getestet, um seine Leistung weiter zu validieren. Die Ergebnisse zeigten, dass die mit französischen Berichten vortrainierten Modelle konstant besser abschnitten als die mit Standarddatensätzen initialisierten, was die Anpassungsfähigkeit und Effektivität des Ansatzes verdeutlicht.

#Folgeaufgaben: Klassifikation und Regression

Die Studie konzentrierte sich auch auf verschiedene Klassifikations- und Regressionsaufgaben. Bei der Klassifikation wurde das Modell verwendet, um zwischen normalen und abnormalen Röntgenbildern zu unterscheiden, insbesondere bei Zuständen wie Frakturen oder Arthrose.

Für Regressionsaufgaben, wie die Schätzung des Knochenalters von Patienten oder das Messen von Winkeln in Röntgenbildern, konnte das Modell Verbesserungen durch Feintuning im Vergleich zur Initialisierung aus traditionellen Datensätzen zeigen. Ausserdem zeigte das Modell eine vorteilhafte Leistung bei Verwendung einer grösseren Bildauflösung, insbesondere wenn Positions-Embeddings während der Verarbeitung erhalten blieben.

Der Aufgabenbereich umfasste binäre Klassifikation, wie ob ein Röntgenbild eine Fraktur zeigte, und Mehrklassenklassifikation, um verschiedene Anomalien zu berücksichtigen. Die Leistung unterschiedlicher Encoder-Kombinationen wurde analysiert, wobei eine Präferenz für bestimmte mehrsprachige Text-Encoder festgestellt wurde.

#Zero-Shot-Lernen

Ein spannender Aspekt dieser Studie war die Erforschung von Zero-Shot-Lernaufgaben, bei denen das Modell Klassifikationen und Abfragen ohne zusätzliches Training auf diesen Datensätzen durchführte. Dies ist besonders wertvoll in realen Anwendungen, da es den Bedarf an umfangreichen beschrifteten Datensätzen reduziert.

Während der Zero-Shot-Klassifikation assoziierte das Modell Textaufforderungen direkt mit Bild-Embeddings. Es wurden mehrere Strategien angewendet, um diese Aufforderungen zu formulieren, was die Fähigkeit des Modells beeinflusste, Klassen genau zu identifizieren. Die Ergebnisse variierten deutlich, was darauf hindeutet, dass die verwendeten Aufforderungen eine entscheidende Rolle bei der Leistung des Modells spielen.

Für die Zero-Shot-Abfrage wurde ein Prozess verwendet, um relevante Bilder basierend auf Textanfragen ohne vorheriges Training zu extrahieren. Diese Aufgabe zielte darauf ab zu messen, wie gut das Modell Bilder finden konnte, die zu bestimmten Textbeschreibungen passten.

#Einblicke und Analyse

Die Analyse der Modellleistung bot Einblicke in die zugrunde liegende Struktur, wie Bild- und Textdaten innerhalb des Modells interagieren. Durch die Visualisierung der während des Trainings erzeugten Embeddings wurde deutlich, dass das Pretraining die Fähigkeit des Modells verbesserte, zwischen verschiedenen anatomischen Standorten und Zuständen, die in den Röntgenbildern dargestellt werden, zu unterscheiden.

Durch Techniken wie t-SNE-Visualisierung und Lineare Diskriminanzanalyse (LDA) wurde festgestellt, dass VLP-Modelle bessere und differenziertere Cluster im Embedding-Raum bildeten als traditionelle Modelle. Dies deutet darauf hin, dass das kombinierte Training von Bildern und Text zu einem nuancierteren Verständnis der Daten führt.

#Fazit

Diese Studie zeigt das Potenzial auf, visuelle und textuelle Daten aus medizinischen Bildern und Berichten zu kombinieren, um die Diagnose und Behandlungsplanung von Patienten im orthopädischen Bereich zu verbessern. Durch die Nutzung eines französischen Datensatzes wird ein Mangel an verfügbaren Trainingsmaterialien für nicht-englische medizinische Daten adressiert.

Die Ergebnisse zeigen, dass die Nutzung lokaler Krankenhausdaten nicht nur die Privatsphäre der Patienten respektiert, sondern auch die Schaffung effektiver Machine-Learning-Modelle ermöglicht. Durch die Anwendung von VLP eröffnet die Studie neue Wege für zukünftige Forschungen im medizinischen Bereich, insbesondere für andere Sprachen und Bedingungen.

Zukünftige Arbeiten könnten mehr lokale Datensätze erkunden und verbesserte Methoden für das Zero-Shot-Lernen entwickeln. Durch die Weiterentwicklung dieser Techniken ist das Ziel, KI-Tools noch zugänglicher und nützlicher für verschiedene Anwendungen im Gesundheitswesen zu machen. Durch kontinuierliche Verbesserung zielt die Forschung darauf ab, die diagnostische Genauigkeit zu steigern und letztendlich die Patientenergebnisse im Bereich der Orthopädie und darüber hinaus zu verbessern.