Fortschritte bei der Segmentierung der glottalen Fläche mit Deep Learning

Semantische Segmentierung ist ein schickes Wort, das bedeutet, Bilder anzuschauen und herauszufinden, was was ist, auf Pixel-Ebene. Stell dir vor, du guckst dir ein Bild von deinem Lieblingsessen an und kannst erkennen, dass das Steak genau das ist, worauf du Lust hast, der Brokkoli grün und gesund ist, und die Kartoffeln nur darauf warten, verputzt zu werden. In der Medizin ist diese Technik besonders wichtig, um verschiedene Teile des Körpers wie Gewebe und Organe in Bildern von medizinischen Scans zu identifizieren.

Im Bereich der laryngealen Endoskopie, wo es darum geht, die Stimmbänder zu checken, ist ein wichtiger Bereich, auf den man sich konzentrieren sollte, der Glottalbereich. Das ist wie die Bühne, auf der deine Stimmbänder eine Show abziehen, während sie vibrieren, um Geräusche zu erzeugen. Es ist entscheidend für Ärzte zu verstehen, wie dieser Bereich aussieht und sich verhält, genau wie ein Dirigent seine Orchester kennen muss.

#Die Rolle des Deep Learning

Deep Learning hat in diesem Bereich alles verändert. Es ist, als würde man einem Computer ein Gehirn geben, um zu lernen, wie man all diese Teile in Bildern erkennt. Forscher haben sowohl traditionelle Methoden als auch diese schlauen KI-Techniken verwendet, um automatisch den Glottalbereich in Endoskopievideos auszuwählen, die normalerweise mit Lichtgeschwindigkeit zoomend unterwegs sind. Bei so vielen Bildern, die mit ca. 4.000 pro Sekunde vorbeifliegen, ist es eine grosse Erleichterung für Ärzte, wenn ein Computer helfen kann, die bereits genug zu tun haben.

#Erfolg messen: Die Bedeutung von Qualitätsmetriken

Wie wissen wir jetzt, ob der Computer gute Arbeit leistet, wenn es darum geht, den Glottalbereich zu identifizieren? Da kommen Scores ins Spiel. Zwei gängige Scores sind der Dice-Score und der Intersection over Union (IoU)-Score. Sie vergleichen, was der Computer für den Glottalbereich hält, mit dem, was die Experten als Glottalbereich definieren. Je höher der Score, desto besser die Leistung – jeder mag einen guten Score, oder?

Ein perfekter IoU ist ein Score von 1, und obwohl sich das toll anhört, ist es nicht so einfach, ihn zu erreichen. Experten haben herausgefunden, dass sie in der Regel einen durchschnittlichen Score von etwa 0,772 erzielen können, was nicht schlecht, aber auch nicht perfekt ist. Wir müssen uns jedoch immer daran erinnern, dass ein hoher Score zwar toll ist, aber nicht immer sagt, wie nützlich die Ergebnisse in einem tatsächlichen medizinischen Kontext sein werden.

#Probleme finden

Hohe Scores sind super, aber was passiert, wenn die Scores nicht ausreichen? Da wird’s ernst. Es gibt eine Studie, die nahelegt, dass die Analyse des Glottalbereichs selbst mit etwas niedrigeren Scores gut funktionieren könnte. Ob unterschiedliche Leute jedoch gleich bewerten, bleibt ein kleines Rätsel.

In dieser Studie haben wir uns angeschaut, wie konsistent verschiedene Personen sind, wenn sie den Glottalbereich markieren. Dazu haben sechs geschulte Bewerter versucht, dieselben Bilder mehrfach zu annotieren. Sie haben aufgeschrieben, was sie für die segmentierten Bereiche hielten, und dann konnten wir überprüfen, wie nah ihre Meinungen beieinanderlagen.

#Das Experiment: Wie wir es gemacht haben

Um diese Studie zu starten, haben wir ein spezifisches Datenset verwendet, das als Benchmark für automatische Glottis-Segmentierung (BAGLS) bekannt ist. Die Bewerter haben sich auf ihre annotierenden Missionen begeben und ihre eigenen Versionen davon erstellt, wie der Glottalbereich aussieht, die wir dann verglichen.

Wir haben auch ein spezielles Vorhersagesystem entwickelt, um die Qualität der Segmentierungen automatisch zu schätzen. Warum? Damit die Ärzte leicht sehen können, wo es vielleicht Probleme gibt. Stell dir ein Ampelsystem vor, bei dem grün bedeutet „alles gut“, gelb „vorsichtig weitermachen“ und rot „hier sofort stoppen!“ Dieses visuelle Signal könnte für Ärzte super hilfreich sein, wenn sie die Ergebnisse bewerten und Entscheidungen treffen.

#Der Prozess der Artefakterzeugung

Um die Sache etwas spannender zu machen, haben wir einige „Artefakte“ (das sind einfach schicke Fehler) in die Daten eingefügt, um zu sehen, wie gut unser System mit weniger perfekten Situationen umgehen kann. Wir haben unsere Bilder des Glottalbereichs genommen und ein bisschen Chaos hinzugefügt – wie zum Beispiel die Kanten verschwommen gemacht und ein bisschen zufälliges Rauschen reingeworfen. So konnten wir herausfinden, ob unser System auch in den chaotischen, realen Situationen, mit denen Ärzte konfrontiert sind, die Scores genau vorhersagen kann.

Also, als wir unser zufälliges Rauschen hinzugefügt und ein paar andere Anpassungen an den Bildern vorgenommen haben, konnten wir sehen, wie gut unser Qualitätsschätzungssystem die Realität der Scores bestimmen konnte.

#Zuverlässigkeit prüfen: Wie konsistent sind wir?

Als Nächstes haben wir geschaut, wie konsistent unsere Bewerter untereinander und mit ihren eigenen Bewertungen waren. Einfach gesagt, wir wollten wissen, ob die Bewerter bei demselben Bild immer auf derselben Wellenlänge waren. Es stellte sich heraus, dass es zwar einige Unterschiede gab, aber das ist zu erwarten, wenn Menschen beteiligt sind.

Im Durchschnitt waren die Bewertungen ziemlich konsistent mit einem Inter-Rater-Zuverlässigkeitswert von etwa 0,70 und einem Intra-Rater-Zuverlässigkeitswert von ungefähr 0,77. Das bedeutet, dass es zwar eine gewisse Übereinstimmung unter den Expertenmeinungen gibt, aber auch Raum für Unterschiede, was zu unterschiedlichen Auslegungen der Ergebnisse führen könnte.

#Deep Learning zur Rettung

Dann haben wir uns den coolen Tools des Deep Learning zugewandt, um unseren Bewertern zu helfen. Indem wir bekannte Modelle wie MobileNet und EfficientNet verwendet haben, haben wir den Computer programmiert, um IoU-Scores basierend auf den annotierten Bildern vorherzusagen.

Das Ziel war herauszufinden, welcher Eingabetyp – nur Endoskopiebilder, nur Segmentierungsmasken oder eine Kombination aus beidem – am besten zur Vorhersage des IoU-Scores geeignet ist. Es stellte sich heraus, dass die Verwendung beider, Bilder und Masken, zu den besten Vorhersagen führte. Unsere Vorhersagemodelle haben insgesamt ziemlich gut abgeschnitten, sogar einige menschliche Bewerter übertroffen.

#Das Ampelsystem für einfache Bewertung

Nachdem wir unsere Vorhersagen hatten, haben wir ein Ampelsystem entworfen, um es den Ärzten leicht zu machen. Dieses System färbte die Bilder basierend auf den vorhergesagten IoU-Scores. Ein grünes Bild signalisiert, dass alles super aussieht, gelb weist darauf hin, dass es möglicherweise einige Probleme gibt, und rot warnt, dass ernsthafte Aufmerksamkeit nötig ist.

Dieses visuelle Hilfsmittel kann den Ärzten einen schnellen Überblick über die Leistung der verschiedenen Modelle geben, während sie ein Video anschauen. Schliesslich möchte jeder Dinge in einem leicht verständlichen Format sehen!

#Die Anwendung in der realen Welt und zukünftige Überlegungen

Durch unsere Studie haben wir gezeigt, dass unser Deep-Learning-System in klinischen Umgebungen, besonders im Kontext von laryngealen Untersuchungen, ziemlich nützlich sein kann. Auch wenn es nicht ganz die Arbeit von geschultem Fachpersonal ersetzt, bietet es eine Hilfe, indem es Bilder mit Bedenken hervorhebt und hilft, die Qualität der Segmentierungen im Auge zu behalten.

Es ist jedoch wichtig zu betonen, dass es immer noch Herausforderungen gibt. Zum Beispiel können die Vorhersagen wobbeln, wenn der segmentierte Bereich zu klein ist. Ein bisschen wie ein kleines Hündchen auf deinem Kopf zu balancieren – ganz schön knifflig! Unsere Modelle zu verbessern, um besser mit diesen Situationen umzugehen, wird entscheidend sein für die Zukunft.

#Fazit: Alles zusammenbringen

Zusammenfassend hat sich unsere Studie darauf konzentriert, wie wir die Qualität der Glottalbereichs-Segmentierung verbessern, die Zuverlässigkeit menschlicher Bewerter bewerten und die Segmentierungsqualität mithilfe von maschinellem Lernen vorhersagen können. Unsere Forschung hebt das interessante Gleichgewicht zwischen menschlicher Expertise und künstlicher Intelligenz hervor.

Während wir weiterhin unsere Techniken verfeinern, ist unser Ziel, sowohl manuelle als auch automatisierte Systeme besser zusammenarbeiten zu lassen. Glücklichere Ärzte bedeuten bessere Patientenversorgung. Egal ob es sich um einen verlässlichen Algorithmus oder einen erfahrenen Bewerter handelt, das ultimative Ziel ist es, das Beste aus beiden Welten zu nutzen, damit beim Glottalbereich alle den richtigen Ton treffen können!