Die Auswirkungen von KI auf die Effizienz in der Gesundheitsforschung

Die UK Health Security Agency (UKHSA) gehört zum Gesundheits- und Sozialministerium. Ihr Hauptziel ist es, Gesundheitsbedrohungen wie Infektionskrankheiten und Umweltgefahren zu verhindern und darauf zu reagieren. Die UKHSA arbeitet auch daran, die öffentliche Gesundheit zu schützen und die Gesundheitssicherheit des Landes zu stärken, indem sie mit lokalen und internationalen Partnern zusammenarbeitet.

Eine der Abteilungen innerhalb der UKHSA ist die Knowledge and Library Services (KLS). KLS hilft den Leuten, zuverlässige Informationen zu finden und zuzugreifen. Sie bieten verschiedene Unterstützungsdienste an, wie die Expertenrecherche nach Literatur, das Beschaffen von Dokumenten, das Überprüfen von Beweisen und das Wissensmanagement. Das Team besteht aus 35 Mitgliedern, die sich auf verschiedene Bereiche spezialisiert haben, wie Wissensmanagement und Literatursuche.

#Fokus auf wichtige Dienste

In diesem Artikel werden wir zwei wichtige Dienste von KLS besprechen: Literatursuche und Evidenzüberprüfungen.

#Literatursuche

KLS bietet verschiedene Ebenen der Literatursuche an. Dazu gehört das Erstellen einfacher Referenzlisten, das Organisieren von Ergebnissen nach Themen, das Bereitstellen von Zusammenfassungen von Beweisen und das Durchführen systematischer Überprüfungen. Seit 2023 hat KLS auch neue Angebote wie Schnellüberprüfungen und Mapping-Überprüfungen hinzugefügt, die bestimmte Schritte zur Sammlung und Analyse von Beweisen folgen.

Nicht jeder in KLS macht die gleichen Aufgaben. Während einige Mitarbeiter regelmässig Literatursuchen durchführen, nehmen andere nur an Evidenzüberprüfungen teil. Derzeit gibt es vier Mitarbeiter, die sich auf Evidenzüberprüfungen spezialisiert haben, während 17 Teammitglieder häufig Literatursuchen durchführen.

#Evidenzüberprüfungen

Evidenzüberprüfungen sind systematische Bewertungen bestehender Forschung. Der Prozess umfasst mehrere Schritte: Entwicklung von Protokollen, Durchsuchen von Datenbanken, Screening von Titeln und Abstracts, Datenerfassung, Bewertung der Qualität der Beweise und Synthese der Ergebnisse.

#Einführung von KI in KLS

2022 hat KLS eine Gruppe gegründet, um zu untersuchen, wie Künstliche Intelligenz (KI) genutzt werden könnte, um ihre Dienste zu verbessern, insbesondere bei der Literatursuche und Evidenzüberprüfungen. Die Gruppe wurde als Reaktion auf das wachsende Interesse an KI und die vielen neuen KI-Tools, die verfügbar werden, ins Leben gerufen.

Die KI-Arbeitsgruppe trifft sich jeden Monat, und jeder von KLS kann mitmachen. Ursprünglich mit zehn Mitgliedern gegründet, ist die Gruppe jetzt auf 14 Mitglieder gewachsen. Sie diskutieren, wie sie KI und neue Technologien nutzen können, und teilen ihr Wissen mit anderen in diesem Bereich. Die Gruppe hat auch Experten aus anderen Organisationen eingeladen, um ihre Einsichten über die Nutzung von KI-Tools zu teilen.

#KI-Anwendungen in der Literatursuche

Die KI-Arbeitsgruppe hat verschiedene KI-Tools getestet, um bei der Literatursuche zu helfen. Zwei bemerkenswerte Tools sind Citationchaser und Deduklick. Beide Tools sollen den Prozess der Literatursuche effizienter machen.

#Citationchaser

Citationchaser hilft bei der Zitationssuche, einer Methode, die relevante Studien findet, indem sie sich die Referenzen in Forschungsartikeln anschaut. Das kann zeitaufwendig sein, deshalb automatisiert Citationchaser das, sodass die Nutzer leicht nach zitierten Arbeiten suchen können.

Im November 2022 hat eines der Gruppenmitglieder einen Test von Citationchaser durchgeführt. Sie verwendeten eine Auswahl von 18 Referenzen, um zu überprüfen, wie gut das Tool funktioniert. Die Ergebnisse zeigten, dass Citationchaser effektiv war, um Referenzen zu finden, besonders wenn Dokumente aus bibliografischen Datenbanken bezogen wurden. Allerdings hatte es Schwierigkeiten, graue Literaturreferenzen zu identifizieren.

Die Arbeitsgruppe fand Citationchaser benutzerfreundlich und hilfreich für die Zitationssuche. Dadurch begannen die KLS-Mitglieder, Citationchaser zusammen mit anderen Plattformen zu nutzen, um ihre Literatursuchen zu verbessern.

#Deduklick

Deduklick ist ein KI-Tool, das entwickelt wurde, um doppelte Referenzen in den Suchergebnissen zu identifizieren und zu entfernen. Früher haben KLS-Mitarbeiter manuell Duplikate mit einer Methode namens Leeds-Methode entfernt, was zeitaufwendig und mit mehreren Schritten verbunden war.

Um Deduklick zu bewerten, testete die Arbeitsgruppe es neben der Leeds-Methode. Vier Teammitglieder verglichen die Ergebnisse beider Systeme bei verschiedenen Literatursuchen. Sie fanden heraus, dass Deduklick Duplikate effektiv entfernen konnte und dabei Zeit sparte. Basierend auf diesen Ergebnissen kaufte KLS Deduklick im April 2023.

#KI in Screening-Prozessen

Das Screening ist ein wichtiger Schritt bei Evidenzüberprüfungen. In dieser Phase bewerten Forscher Titel und Abstracts, um zu entscheiden, welche Studien relevant sind. KI-Tools können helfen, diesen Prozess zu beschleunigen.

#Titel- und Abstract-Screening

KLS hat zwei kommerzielle KI-Tools getestet, die beim Titel- und Abstract-Screening helfen sollen: Rayyan und EPPI-Reviewer. Beide Tools nutzen maschinelles Lernen, um relevante Studien basierend auf Benutzerentscheidungen zu identifizieren.

Rayyan wurde zuerst 2023 getestet. Ein Evidenzprüfer screenete eine grosse Anzahl von Referenzen und nutzte die Vorhersagen von Rayyan, um Studien zu priorisieren. Die Ergebnisse zeigten, dass Rayyan effektiv darin war, relevante Studien schnell zu identifizieren. Die meisten relevanten Referenzen wurden früh im Screening-Prozess gefunden.

Danach wurde das Tool EPPI-Reviewer ebenfalls bewertet. Es stellte sich heraus, dass es effektiv war, relevante Studien nach oben in die Liste zu bringen, was zeigt, dass beide Tools im Schnellüberprüfungsprozess helfen können.

#Volltext-Screening

Nach dem Screening von Titeln und Abstracts ist der nächste Schritt, die Volltexte der Studien zu überprüfen, um sicherzustellen, dass sie die Einschlusskriterien erfüllen. Dies kann arbeitsintensiv sein, und Tools wie KI können helfen, die Arbeitslast zu erleichtern.

2023 begann KLS, generative KI-Tools wie Claude 2 für das Volltext-Screening zu erkunden. Das Ziel war zu beurteilen, wie genau diese Tools die Einschlusskriterien auf Volltexte anwenden können. Erste Testergebnisse zeigten, dass Claude 2 gut darin war, Entscheidungen über Ein- und Ausschluss zu treffen und ein gutes Mass an Genauigkeit erreichte.

Eine bedeutende Einschränkung war jedoch die Unfähigkeit, urheberrechtlich geschütztes Material in diese KI-Tools hochzuladen. Diese Einschränkung wirkt sich auf die praktische Anwendung in der Volltextprüfung aus.

#Datenerfassung

Die Datenerfassung umfasst das Sammeln spezifischer Informationen aus den in der Evidenzüberprüfung enthaltenen Studien. Obwohl automatisierte Tools für diese Aufgabe noch nicht weit verbreitet sind, erforscht KLS, wie KI bei diesem Prozess helfen kann.

2023 testete KLS Claude 2 für die Datenerfassung. Der Prozess bestand darin, die KI zu bitten, verschiedene Datenfelder aus einer Reihe von Studien zu extrahieren. Das Modell zeigte vielversprechende Ansätze, hatte aber Schwierigkeiten mit subjektiveren Feldern, die menschliches Urteilsvermögen erforderten.

Ein nachfolgender Test mit einer aktualisierten Version, Claude 3, zeigte Verbesserungen. Insgesamt zeigten diese KI-Tools zwar Potenzial zur Unterstützung der Datenerfassung, erforderten jedoch weiterhin eine menschliche Überprüfung, um die Genauigkeit sicherzustellen.

#Einschränkungen von KI

Obwohl es viele vielversprechende Anwendungen von KI-Tools gibt, gibt es auch bemerkenswerte Einschränkungen. KI-Tools haben derzeit Schwierigkeiten mit Aufgaben, die ein tiefes Verständnis und kritisches Denken erfordern, wie die Bewertung der Studienqualität und das Erkennen möglicher Verzerrungen.

Informelle Tests mit KI-Modellen für die kritische Bewertung zeigten, dass ihnen die Tiefe fehlt, die für eine umfassende Bewertung erforderlich ist. Ähnlich haben Tests mit narrativer Synthese keine überzeugenden Ergebnisse geliefert.

Ein weiteres wichtiges Problem ist die Frage von Urheberrechten und Lizenzen. Viele Überprüfungsprozesse beinhalten Volltexte, die von KI-Tools nicht zugänglich sind, was die Anwendbarkeit einschränkt.

#Aktuelle und zukünftige Initiativen

Seit ihrer Gründung hat die KLS-KI-Arbeitsgruppe ihren Fokus von der Erforschung von KI-Anwendungen auf einen strategischeren Ansatz verlagert. Dabei geht es darum, spezifische Anwendungen für KI zu identifizieren, die der Organisation nutzen können, während Kosten, Verfügbarkeit und ethische Bedenken berücksichtigt werden.

Eine separate Arbeitsgruppe, die sich auf Evidenzüberprüfungen konzentriert, wurde ebenfalls gegründet, um KI-Anwendungen innerhalb der Organisation zu identifizieren. Dies führt zur Zusammenarbeit mit Datenwissenschaftlern, um ein neues Modell zur Datenerfassung zu entwickeln.

Während die KLS-KI-Arbeitsgruppe bedeutende Erkenntnisse gewonnen hat, bestehen weiterhin Herausforderungen in Bezug auf Zeitrahmen und die Geschwindigkeit der KI-Fortschritte. Darüber hinaus könnten Bedenken hinsichtlich der Arbeitsplatzsicherheit und des Vertrauens in KI-Tools die breitere Akzeptanz behindern.

#Fazit

Die KLS hat seit der Gründung ihrer Arbeitsgruppe bedeutende Fortschritte beim Verständnis und der Anwendung von KI-Tools erzielt. Ihre Erfahrungen haben zur Implementierung von KI-Tools geführt, die die Effizienz und Zuverlässigkeit erhöhen.

Obwohl KI grosses Potenzial hat, die Literatursuche und die Evidenzüberprüfungen zu verbessern, gibt es noch viel zu tun, insbesondere im Bereich des Volltext-Screenings und der Datenerfassung.

Während KLS weiterhin KI-unterstützte Technologien erkundet und implementiert, bleibt sie der Qualität und Vertrauenswürdigkeit ihrer Dienste verpflichtet. Die Kombination aus KI und menschlichem Fachwissen wird als Möglichkeit gesehen, zuverlässigere Ergebnisse in der öffentlichen Gesundheitsforschung und der Evidenzsynthese zu erzielen.