Bewertung der Domänenverallgemeinerung in der computerbasierten Pathologie

Deep Learning hat einen richtig grossen Einfluss im Bereich der computergestützten Pathologie gemacht, wo medizinische Bilder analysiert werden, um Krankheiten zu diagnostizieren. Ein grosses Problem dabei ist, dass diese Modelle oft schlecht abschneiden, wenn sie mit neuen Daten konfrontiert werden, die anders sind als die, auf denen sie trainiert wurden. Dieses Phänomen, bekannt als Domain Shift, kann zu ungenauen Ergebnissen in der realen Welt führen. Um dieses Problem anzugehen, entwickeln Wissenschaftler Domain Generalization (DG) Algorithmen, die den Modellen helfen sollen, ihre Leistung zu halten, wenn sie mit unbekannten Daten konfrontiert werden.

Trotz des Potenzials von DG-Algorithmen gab es im Kontext der computergestützten Pathologie bisher nur wenige systematische Bewertungen. Diese Studie möchte diese Lücke schliessen, indem sie die Effektivität von 30 verschiedenen DG-Algorithmen bei drei unterschiedlichen pathologischen Aufgaben benchmarkt. Wir haben umfangreiche Experimente mit über 7.500 Durchläufen der Kreuzvalidierung durchgeführt, um zu bewerten, wie gut diese Algorithmen performen.

#Das Problem des Domain Shifts

In der computergestützten Pathologie tritt Domain Shift auf, wenn es Unterschiede in der Art und Weise gibt, wie Daten gesammelt oder präsentiert werden. Zum Beispiel können Unterschiede in der Bildgebungstechnik, den Färbetechniken oder den Stichprobepopulationen dazu führen, dass sich die Verteilung der Daten ändert. Wenn ein Modell auf einem Datensatz trainiert und an einem anderen mit diesen Unterschieden getestet wird, kann die Leistung deutlich leiden.

Es können verschiedene Arten von Domain Shifts unterschieden werden:

1. Covariate Shift: Tritt auf, wenn die Merkmalsverteilungen zwischen den Trainings- und Testdatensätzen unterschiedlich sind. Wenn beispielsweise Gewebeproben mit verschiedenen Maschinen gescannt werden, können sie unterschiedliche Farben und Merkmale aufweisen.

2. Prior Shift: Passiert, wenn die Verteilung der Klassen (wie krebsartig vs. nicht krebsartig) zwischen den Domänen unterschiedlich ist. Ein auf einem ausgewogenen Datensatz trainiertes Modell könnte Schwierigkeiten haben, wenn es auf einen neuen Datensatz mit einer anderen Klassenverteilung angewendet wird.

3. Posterior Shift: Tritt auf, wenn sich die Art, wie die Daten etikettiert werden, ändert. Verschiedene Pathologen könnten beispielsweise die gleichen Bilder unterschiedlich labeln, basierend auf ihren Interpretationen.

4. Class-Conditional Shift: Bezieht sich auf Änderungen in den Eigenschaften nur einer bestimmten Klasse. Zum Beispiel könnte das Erscheinungsbild von Tumorzellen zwischen Früh- und Spätstadien von Krebs erheblich variieren.

Diese Verschiebungen anzugehen, ist entscheidend, um zuverlässige und genaue Deep Learning-Modelle in der computergestützten Pathologie zu schaffen.

#Benchmarking von Domain Generalization Algorithmen

Unsere Studie konzentriert sich darauf, verschiedene DG-Algorithmen im Kontext der computergestützten Pathologie zu bewerten. Wir haben uns auf drei spezifische Aufgaben konzentriert:

1. Brustkrebs Metastasen Erkennung: Verwendung des CAMELYON17-Datensatzes, der Bilder von Lymphknoten von Brustkrebspatienten enthält.

2. Mitoseerkennung: Analyse des MIDOG22-Datensatzes, der Bilder verschiedener Krebsarten enthält, um mitotische Figuren zu identifizieren.

3. Tumorerkennung: Einführung eines neuen Datensatzes, HISTOPANTUM, der Bilder von vier verschiedenen Krebsarten enthält.

Jeder Datensatz bringt seine eigenen Herausforderungen in Bezug auf Domain Shifts mit sich, und wir möchten herausfinden, wie gut die DG-Algorithmen mit diesen Schwierigkeiten zurechtkommen.

#Die Datensätze

#CAMELYON17

Dieser Datensatz konzentriert sich auf die Erkennung von Brustkrebsmetastasen in Lymphknoten. Er umfasst Bilder, die von mehreren Medizinischen Zentren gesammelt wurden, was zu erheblichen Variationen in Farbe und Textur aufgrund von Unterschieden in der Bildgebungstechnik und -verfahren führt. Trotz des Covariate Shifts in diesem Datensatz ist er gut ausgewogen in Bezug auf die Klassenverteilung, sodass wir uns ganz auf die Auswirkungen des Domain Shifts konzentrieren können, ohne uns um Label-Ungleichgewichte sorgen zu müssen.

#MIDOG22

Der MIDOG22-Datensatz enthält Bilder von verschiedenen Krebsarten und bietet eine einzigartige Herausforderung aufgrund der Präsenz aller vier Arten von Domain Shifts. Die Bilder variieren in Farbe und Merkmalen aufgrund unterschiedlicher Scangeräte, und es gibt erhebliche Unterschiede in der Verteilung der Labels über verschiedene Domänen hinweg. Dieser Datensatz stellt einen rigorosen Test zur Bewertung von DG-Algorithmen dar, da er verschiedene Herausforderungen im Bereich Domain Shift umfasst.

#HISTOPANTUM

Unser neuer HISTOPANTUM-Datensatz enthält Bilder von kolorektalen, uterinen, ovarialen und Magenkrebs. Wir haben diesen Datensatz mit sorgfältigen Überlegungen zusammengestellt, um Vielfalt in Bezug auf Tumorsubtypen und andere Faktoren sicherzustellen. Auch dieser Datensatz bringt erhebliche Domain Shifts mit sich, die auf Variationen in der Bildaufnahme und -verarbeitung zurückzuführen sind.

#Experimentelles Design

Um die Effektivität der DG-Algorithmen zu bewerten, haben wir einen strukturierten experimentellen Ansatz genutzt. Wir haben 30 verschiedene Algorithmen, von einfachen bis komplexen Methoden, über die drei Datensätze hinweg benchmarked. Jeder Algorithmus wurde durch umfangreiche Kreuzvalidierungsexperimente bewertet, was zu insgesamt 7.560 Trainings-Validierungs-Durchläufen führte.

Die Algorithmen umfassen sowohl traditionelle Ansätze als auch spezifische Techniken für die Pathologie. Wir haben auch selbstüberwachende Lernmethoden einbezogen, um ihre potenziellen Vorteile zu erkunden. Unser Ziel war es, eine umfassende Analyse darüber zu liefern, wie verschiedene Algorithmen angesichts der unterschiedlichen Herausforderungen der Datensätze abschneiden.

#Leistungskennzahlen

Wir haben die Algorithmen anhand zweier wichtiger Leistungskennzahlen bewertet: Genauigkeit und F1-Score. Die Genauigkeit misst die allgemeine Richtigkeit des Modells, während der F1-Score eine ausgewogenere Sichtweise bietet, wenn man Datensätze mit unausgeglichenen Klassen betrachtet. Die Verwendung beider Kennzahlen ermöglicht eine gründlichere Bewertung, wie gut die DG-Algorithmen über die verschiedenen Datensätze und Aufgaben hinweg abschneiden.

#Ergebnisse und Erkenntnisse

#Ergebnisse des gesamten Datensatzes

Bei der Bewertung der Algorithmen auf den vollständigen Datensätzen stellten wir fest, dass die meisten Methoden ähnliche Leistungsniveaus erreichten, mit durchschnittlichen F1-Scores von 81% bis 85%. Besonders das selbstüberwachte Lernen und die Farbtonaugmentation haben durchweg besser abgeschnitten als andere Methoden und erzielten F1-Scores von 87,7% bzw. 86,5%. Das zeigt die Effektivität dieser Techniken im Umgang mit den Herausforderungen durch Domain Shifts.

CAMELYON17 erzielte die besten Ergebnisse, mit Algorithmen, die einen durchschnittlichen F1-Score von 90% erreichten. Die Eigenschaften dieses Datensatzes erleichterten es den Modellen, zu verallgemeinern. Im Gegensatz dazu stellten die MIDOG22- und HISTOPANTUM-Datensätze grössere Herausforderungen dar, was zu insgesamt niedrigeren Scores führte.

#Ergebnisse kleiner Datensätze

Um zu bewerten, wie die DG-Algorithmen bei begrenzten Daten abschneiden, haben wir kleinere Versionen der Datensätze erstellt. Diese unterteilten Datensätze behielten ähnliche Verteilungen bei, reduzierten jedoch die Anzahl der Proben erheblich.

Die Ergebnisse zeigten, dass das selbstüberwachte Lernen und die Farbtonaugmentation auch auf kleineren Datensätzen weiterhin führend waren. Besonders das selbstüberwachte Lernen übertraf andere Methoden und zeigte einen F1-Score von 85,4%. Das deutet darauf hin, dass selbstüberwachte Techniken besonders effektiv sind, wenn Daten knapp sind.

#Leistungsbewertung auf Domain-Ebene

Wir haben auch ausgewertet, wie die Algorithmen auf Domain-Ebene für jeden Datensatz abgeschnitten haben. In CAMELYON17 war die Leistung im Allgemeinen hoch, mit leicht variierenden Ergebnissen über verschiedene Zentren hinweg. Bei MIDOG22 gab es jedoch einen signifikanten Leistungsunterschied zwischen den Domänen, wobei einige herausfordernder waren als andere. Der gleiche Trend zeigte sich auch beim HISTOPANTUM-Datensatz.

#Erkenntnisse und Empfehlungen

Durch unsere umfassende Bewertung fanden wir heraus, dass es keinen einzigen besten DG-Algorithmus gibt, der in allen Umständen funktioniert. Die Effektivität eines Algorithmus hängt von verschiedenen Faktoren ab, wie der Grösse und Vielfalt des Datensatzes und der spezifischen Art des Domain Shifts.

Wir empfehlen Forschern, die folgenden Richtlinien zu beachten, wenn sie einen DG-Ansatz für die computergestützte Pathologie auswählen:

1. Richtiges experimentelles Design: Sicherstellen, dass die Kreuzvalidierung korrekt eingerichtet ist, ohne Datenlecks, und dass eine Domain-spezifische Stratifikation angewendet wird.

2. Vortrainierte Modelle nutzen: Die Feinabstimmung eines vortrainierten Modells kann bessere Ergebnisse liefern als ein Neuanfang.

3. Datenaugmentation einbeziehen: Techniken wie Farbtonaugmentation und andere allgemeine Bildtransformationen nutzen, um die Verallgemeinerbarkeit des Modells zu verbessern.

4. Mit verschiedenen Algorithmen experimentieren: Kombinationen von Algorithmen wie Adaptive Risk Minimization, CausIRL, Transfer und Empirical Quantile Risk Minimization erkunden, die sich bei DG-Aufgaben als vielversprechend erwiesen haben.

Letztlich passt kein einzelner Algorithmus in jede Situation. Die Wahl sollte vom spezifischen Kontext des Problems abhängig gemacht werden.

#Fazit

Diese Studie bietet ein gründliches Benchmarking verschiedener Domain Generalization-Algorithmen in der computergestützten Pathologie. Die umfassende Bewertung hebt die Herausforderungen hervor, die durch Domain Shifts entstehen, und die Notwendigkeit robuster Lösungen, um sicherzustellen, dass Deep Learning-Modelle zuverlässig über verschiedene Datensätze hinweg performen können.

Die Ergebnisse betonen das Potenzial von selbstüberwachtem Lernen und Farbtonaugmentation als effektive Strategien zur Verbesserung der Modellleistung bei unbekannten Daten. Darüber hinaus zeigte der Baseline-Algorithmus für empirische Risiko-Minimierung, dass auch einfache Methoden konkurrenzfähige Ergebnisse liefern können.

Wir hoffen, dass unsere Ergebnisse weitere Forschungen anstossen, um robustere und verallgemeinerbare Deep Learning-Modelle für praktische Anwendungen in der computergestützten Pathologie zu entwickeln. Indem Forscher die Stärken und Schwächen verschiedener DG-Algorithmen verstehen, können sie informierte Entscheidungen treffen, die die diagnostische Genauigkeit im klinischen Umfeld verbessern.