Bewertung von medizinischer KI: Ein neuer Ansatz

Stell dir vor, du versuchst, eine magische Box zu finden, die all deine medizinischen Fragen beantwortet. Klingt super, oder? Aber hier ist der Haken. Die meisten Boxen da draussen geben dir nur Multiple-Choice-Optionen und keine echten Antworten. Das ist ein bisschen so, als würdest du jemanden fragen, wie man einen Kuchen backt, und nur "Mehl" oder "Eier" als Optionen bekommen. Nichts wirklich hilfreich. Die medizinische Welt braucht Antworten, die ausführlicher und nützlicher sind, besonders weil viele ernste Situationen nicht schön in diese kleinen Boxen passen.

#Was wir gemacht haben

Um die Sache zu verbessern, haben wir eine neue Bewertungsmatrix für diese medizinischen Frage-Antwort-Systeme aufgestellt. Es ist wie die Freunde danach zu bewerten, wie gut sie kochen, aber anstelle deiner Kumpels reden wir von schlauen Maschinen, die über Gesundheitsfragen sprechen können. Wir haben echte Fragen gesammelt, die Leute über Gesundheit stellen, und Ärzte gebeten, uns bei der Bewertung der Antworten zu helfen. Denk daran, es ist wie wenn ein freundlicher Arzt über deine Schulter schaut, während du Google nach deinem komischen Ausschlag fragst.

#Fragen sammeln

Zuerst mussten wir ein paar Fragen sammeln. Also sind wir zu unserer Plattform gegangen, wo Leute Medizinische Fragen stellen (ja, die Leute fragen wirklich viele Dinge über ihre Gesundheit!). Über ein paar Monate haben wir Tausende von Fragen gesammelt. Dann haben wir die wiederholten Fragen rausgeschmissen und die, die nicht auf Englisch waren, aussortiert. Glaub mir, das hat eine Weile gedauert. Aber am Ende hatten wir fast 2.700 Fragen, die klar waren und bereit für unsere Bewertung.

#Gute Fragen aussortieren

Beim Sammeln der Fragen waren einige wirklich verwirrend oder schlecht formuliert. Es war, als hätte jemand gefragt: "Wie viel Zucker braucht meine Katze?", ohne zu wissen, wer "meine Katze" war. Also haben wir beschlossen, ein AI-Tool zu nutzen, um herauszufinden, welche Fragen gut waren und um die, die unordentlich waren, zu korrigieren. Nachdem wir seine Arbeit mit menschlichen Bewertern verglichen haben, haben wir festgestellt, dass die AI einen ziemlich anständigen Job gemacht hat. Die Mehrheit war sich einig, ob eine Frage gut war oder nicht. Am Ende hatten wir etwa 1.300 solide medizinische Fragen.

#Sicherstellen, dass Fragen unterschiedlich sind

Eine Sammlung von Fragen ist super, aber sie müssen einzigartig sein. Wir wollten keine zehn Fragen, die dasselbe in leicht unterschiedlichen Formulierungen fragen. Also haben wir die Ähnlichkeiten zwischen den Fragen analysiert und die entfernt, die zu ähnlich waren. Am Ende hatten wir 1.077 Fragen, die unterschiedlich waren und bereit für den nächsten Schritt.

#Wie unsere Fragen im Vergleich abschneiden

Als Nächstes wollten wir wissen, wie unsere Fragen im Vergleich zu anderen beliebten Gesundheitsfrage-Sets abschneiden. Wir haben unsere Fragen mit drei bekannten Datenbanken verglichen. Es war wie ein Test, um zu sehen, wie wir uns schlagen. Es stellte sich heraus, dass unsere Fragen ziemlich anders waren als die anderen, was gute Nachrichten sind. Wir waren auf etwas Frisches gestossen!

#Schwierigkeit der Fragen bewerten

Da nicht alle Fragen gleich sind, haben wir beschlossen, zu kennzeichnen, wie schwer jede Frage war. Wir haben dies mit Hilfe einiger Ärzte gemacht und drei verschiedene Schwierigkeitsgrade erstellt:

1. Basis: Fragen, die einfach und leicht zu beantworten sind.
2. Mittel: Fragen, die ein bisschen mehr Nachdenken erfordern und etwas kompliziert sein können.
3. Fortgeschritten: Schwierige Fragen, die tiefgehendes medizinisches Wissen und sorgfältiges Nachdenken erfordern.

Mit diesen Stufen waren wir bereit, weiterzumachen!

#Antworten bewerten

Jetzt kommt der spassige Teil! Wir mussten sehen, wie gut verschiedene AI-Modelle beim Beantworten dieser medizinischen Fragen abgeschnitten haben. Wir haben verschiedene AIs eingesetzt, von solchen, die speziell für medizinische Anfragen gebaut wurden, bis zu solchen, die für den allgemeinen Gebrauch gedacht sind, und ihre Antworten verglichen. Es ist wie eine Talentshow für AI – wer kann mit unseren medizinischen Fragen am besten abschneiden?

Wir haben mehrere Faktoren bei der Bewertung der Antworten betrachtet:

• Korrektheit: War die Antwort richtig?
• Hilfreich: Gab es nützliche Informationen?
• Schädlich: Könnte es mehr schaden als nutzen?
• Vorurteile: Gab es eine Bevorzugung einer Gruppe?

#Menschliches Feedback sammeln

Um sicherzustellen, dass unsere Bewertungen fair waren, haben wir ein paar Ärzte gebeten, die AI-Antworten zu bewerten. Sie hatten spezielle Kriterien, um sicherzustellen, dass ihre Beurteilungen konsistent waren. Es war fast wie bei Richtern in einer Kochshow, die die besten Antworten auswählen, während sie alles fair und gerecht halten.

#AI mit menschlichen Bewertern vergleichen

Nachdem die Ärzte ihre Bewertungen abgegeben hatten, haben wir ihre Ergebnisse mit den Bewertungen der AI verglichen. Sie stimmten nicht immer überein, aber wenn sie es taten, war das ein gutes Zeichen, dass die Modelle es richtig machten. Zu finden, wo sie sich nicht einig waren, gab uns wertvolle Einblicke, um zu verbessern, wie diese Systeme funktionieren. Manchmal war es einfach eine Frage des Geschmacks – wie jemand, der Kuchen über Torte bevorzugt!

#Was wir herausgefunden haben

Jetzt kommen die spannenden Dinge! Als wir die AIs betrachteten, schnitten einige besser ab als andere. Zum Beispiel zeigte ein Modell namens AlpaCare solide Antworten auf kleinere Fragen. Aber im Vergleich zu den grossen Modellen wie GPT-4o schnitt AlpaCare nicht ganz so gut ab.

Interessanterweise schnitt ein anderes Modell namens Llama-3.1 besser ab als GPT-4o, ohne zusätzliche medizinische Ausbildung, was einem Aussenseiter gleicht, der die Meisterschaft ohne viel Training gewinnt. Das ist ein gutes Zeichen dafür, dass offene und zugängliche AI-Modelle ebenso gut – wenn nicht sogar besser – abschneiden können als ihre geschlossenen Gegenstücke.

Am Ende haben wir gelernt, dass es entscheidend ist, wie gut diese AIs medizinische Fragen beantworten. Es hilft nicht nur, Sinn zu machen, wie diese Modelle genutzt werden können, sondern weist auch auf Verbesserungsmöglichkeiten hin. Das Ziel ist, AIs zu bekommen, die zuverlässige und genaue medizinische Informationen bereitstellen können, ohne dass ein Mensch jede Antwort doppelt prüfen muss!

#Ausblick

Wir hoffen, dass andere Forscher und Entwickler durch unsere Erkenntnisse noch bessere Werkzeuge für medizinische Anfragen entwickeln können. Dieser Bewertungsansatz könnte die Grundlage für einen verbesserten Dialog zwischen Menschen und Maschinen im medizinischen Bereich schaffen. Ausserdem gibt es den Verbrauchern Vertrauen in die Nutzung von AI für ihre Gesundheitsfragen – denn wer möchte nicht selbst die Kontrolle über seine Gesundheit übernehmen und dabei den Stress komplizierter medizinischer Fachbegriffe vermeiden?

Am Ende ist unsere Arbeit noch lange nicht abgeschlossen. Es gibt immer Raum zum Wachsen und Verbessern. Mit einer soliden Grundlage guter Fragen, menschlichem Feedback und AI-Bewertungen sind wir gespannt, wohin uns das als Nächstes führen kann. Vielleicht wird es eines Tages weniger wie die Suche nach einer Nadel im Heuhaufen sein, Antworten auf deine medizinischen Fragen zu finden, sondern mehr wie ein Gespräch mit einem wissenden Freund. Das ist der Traum, oder?