Bewertung der Auswirkungen von KI auf die Gesundheitsgerechtigkeit
Ein Rahmen, um zu bewerten, wie KI-Lösungen die Gesundheitsgerechtigkeit im Gesundheitswesen beeinflussen.
― 8 min Lesedauer
Inhaltsverzeichnis
- Aktuelle Forschung
- Engagement und Ausrichtung
- Ethik-Erklärung
- Fallstudien
- Bewertungsbereiche
- Erkenntnisse aus dem Workshop
- Prototyping
- Abschluss des Konzepts
- Bewertungsbereiche für gesundheitliche Chancengleichheit
- Herausforderungen bei der Implementierung
- Einschränkungen und zukünftige Richtungen
- Fazit
- Originalquelle
Die Nutzung von Technologie, die auf Daten basiert, wird im Gesundheitswesen immer üblicher. Zwei der Haupttypen von Technologien sind Künstliche Intelligenz (KI) und Maschinelles Lernen (ML). Diese Tools können dazu beitragen, die Arbeitsweise von Gesundheitsdienstleistern zu verbessern, bei klinischen Entscheidungen zu helfen und die Gesamtabläufe in den Gesundheitssystemen zu optimieren. Zum Beispiel können KI und ML dabei helfen, ernsthafte Erkrankungen wie Sepsis zu erkennen und zu behandeln, unnötige Überweisungen auf die Intensivstation zu vermeiden und wichtige Herzfunktionskennzahlen automatisch zu berechnen. Diese Technologien können auch frühere Krankheitsdetektionen ermöglichen, sicherstellen, dass medizinische Daten konsistenter erfasst und analysiert werden, sowie den Zugang zur Gesundheitsversorgung für Patienten erleichtern.
Trotz ihrer potenziellen Vorteile hat das Wachstum von KI-Tools im Gesundheitswesen die Regeln und Richtlinien, die sicherstellen, dass sie sicher und fair eingesetzt werden, übertroffen. Forschungen haben gezeigt, dass es viele Fälle gibt, in denen diese KI-Technologien bestehende Vorurteile und Ungleichheiten unterstützen. Um dieses Problem anzugehen, haben verschiedene Regierungsstellen begonnen, Schritte zu unternehmen, um sicherzustellen, dass Gesundheits-KI diese Ungerechtigkeiten nicht weiter verschärft. Es gibt jedoch nach wie vor einen Mangel an klaren Methoden für Gesundheitsorganisationen, um diese Prinzipien effektiv umzusetzen.
Viele Studien haben verschiedene Gründe identifiziert, warum Vorurteile in KI-Produkten existieren. Dazu gehören Lücken in der Repräsentation in den Daten, die verwendet werden, um die Modelle zu trainieren, ein Mangel an historischen Daten, einzigartige Ausreisserereignisse, Vorurteile in der Art und Weise, wie Daten gemessen werden, und Probleme mit der Sprache, die zur Beschreibung von Ergebnissen verwendet wird. Obwohl es einige Bewertungen und Vorschläge gibt, wie diese Vorurteile angegangen werden können, fehlt es immer noch an einem umfassenden Satz praktischer Schritte, die Führungskräfte im Gesundheitswesen nutzen können, um das Risiko zu verringern, dass KI die gesundheitlichen Ungleichheiten verschärft.
In unserer vorherigen Arbeit haben wir herausgefunden, dass Führungskräfte im Gesundheitswesen Schwierigkeiten haben, die Auswirkungen eines KI-Produkts auf gesundheitliche Ungleichheiten zu bewerten. Wir haben mit Personen aus verschiedenen Gesundheitsorganisationen und Experten für KI-Ethische und Vorurteile gesprochen, konnten uns jedoch nicht auf die besten Methoden zur Bewertung dieser Auswirkungen einigen.
Aktuelle Forschung
Um diese Lücken zu schliessen, haben wir einen Workshop organisiert und ein Konzept entwickelt, das Führungskräften im Gesundheitswesen hilft zu verstehen, wie KI-Technologie die gesundheitliche Chancengleichheit beeinflussen könnte. Dieses Konzept nennt sich Health Equity Across the AI Lifecycle (HEAAL). Wir definieren gesundheitliche Chancengleichheit als das Erreichen optimaler Gesundheit für alle, unabhängig von ihrem Hintergrund oder ihrer Situation.
Das Ziel dieser Forschung ist zweifach: Erstens möchten wir eine detaillierte Beschreibung der Verfahren des Konzepts sowie der relevanten Daten und Beteiligten geben. Zweitens wollen wir erklären, wie wir dieses Konzept mithilfe partizipativer Forschungsdesign-Methoden erstellt haben, was zukünftige Kooperationen unterstützen wird.
Engagement und Ausrichtung
Das HEAAL-Konzept wurde durch umfassende Zusammenarbeit mit verschiedenen Führungskräften von Gesundheitsorganisationen und Partnern in den USA entwickelt. Wir haben Teams rekrutiert, die Fallstudien durchgeführt und ihre Erfahrungen während des Workshops geteilt. Viele Vertreter von Gesundheitsorganisationen und Partnern im Ökosystem haben ihre Einblicke darüber eingebracht, wie KI in ihren Bereichen genutzt wird.
Ein vielfältiges Team von Fachleuten, darunter Kliniker, Vertreter der Gemeinschaft, Informatiker, Rechtsexperten, Projektmanager und Wissenschaftler, war Teil des Entwicklungsteams, das das Konzept und seine Verfahren erstellt hat. Sie haben während des Designprozesses an Diskussionen teilgenommen, um sicherzustellen, dass ihr vielfältiges Fachwissen einfliesst. Der Designansatz umfasste zwei Hauptphasen der Ideenfindung und Verfeinerung.
Ethik-Erklärung
Diese Forschung war als Qualitätsverbesserungsprojekt strukturiert und beinhaltete keine Forschung mit menschlichen Probanden, sodass keine Genehmigung durch ein Ethikkomitee (IRB) erforderlich war. Alle Teilnehmer gaben ihr mündliches Einverständnis, um an den Designprozessen teilzunehmen, und erlaubten, dass ihre anonymen Beiträge für die Analyse verwendet werden.
Während der anfänglichen Entdeckungsphase haben wir die Einsichten der Teilnehmer erkundet und ihre Gedanken dokumentiert.
Fallstudien
Insgesamt wurden drei Fallstudien als Teil des Forschungsprozesses erstellt. Eine wurde von einem Team des Duke Institute for Health Innovation entwickelt, das ein Tool zur Vorhersage von pädiatrischer Sepsis fokussierte. Die anderen beiden Fallstudien wurden von Teams von NewYork-Presbyterian und dem Parkland Center for Clinical Innovation erstellt, die sich mit postpartalen Depressionen und Patientensegmentierung beschäftigen.
Diese Fallstudien dienten als praktische Beispiele für KI-Anwendungen und erleichterten die Diskussionen während des Workshops.
Bewertungsbereiche
Die Teammitglieder, die das Konzept entwickelt haben, haben die Fallstudien analysiert und Schlüsselbereiche identifiziert, auf die Führungskräfte im Gesundheitswesen sich konzentrieren sollten, wenn sie eine KI-Lösung implementieren. Jeder Bereich wurde beschrieben und potenzielle Bewertungsmethoden vorgeschlagen. Dies führte zur Identifizierung von sechs wichtigen Bewertungsbereichen.
Erkenntnisse aus dem Workshop
Während des Workshops teilten Teilnehmer aus verschiedenen Branchen ihre Meinungen zu dem Thema durch verschiedene Aktivitäten. Designforscher sammelten Notizen aus den stattfindenden Diskussionen, was zur Synthese wichtiger Erkenntnisse führte. Diese Erkenntnisse wurden dann in die zuvor identifizierten Bewertungsbereiche organisiert.
Die Entwickler des Konzepts überprüften die während des Workshops geteilten Ideen und verfeinerten die Bewertungsbereiche in sechs klare Bereiche.
Prototyping
Die nächste Phase bestand darin, erste Prototypen des Konzepts zu entwickeln und zu testen. Jeder Bereich hatte spezifische Leitfragen, die die Entwickler des konzepts individuell beantworteten. Die Designforscher fassten diese Informationen in einem einzigen Dokument zusammen, das den ersten Prototyp des Konzepts bildete.
Das Team testete dann den Prototyp anhand des Algorithmus zur Vorhersage von pädiatrischer Sepsis. Dies war entscheidend, um sicherzustellen, dass das Konzept in der Praxis praktikabel ist. Das Feedback aus diesem ersten Test schlug einige Bereiche zur Verbesserung vor, wie zum Beispiel die Reduzierung von Redundanzen in den Verfahren und die Klärung spezifischer Rollen und Verantwortlichkeiten.
Daraufhin wurde ein zweiter Prototyp erstellt, der die Erkenntnisse der Nutzer einbezog. Diese aktualisierte Version wurde erneut getestet, um ihre Benutzerfreundlichkeit und Übereinstimmung mit den ursprünglichen Zielen des Konzepts zu überprüfen.
Abschluss des Konzepts
Nach Überarbeitungen basierend auf dem Feedback von Nutzern und Beteiligten wurde die endgültige Version des HEAAL-Konzepts erstellt und soll mit anderen Fallstudienteams für weitere Anwendungen geteilt werden.
Bewertungsbereiche für gesundheitliche Chancengleichheit
Das HEAAL-Konzept konzentriert sich auf fünf Hauptbewertungsbereiche:
Verantwortlichkeit: Hierbei geht es darum, sicherzustellen, dass Personen und Organisationen für die Auswirkungen der KI-Lösung verantwortlich sind. Dazu gehört die Überwachung potenzieller negativer Auswirkungen und die Festlegung von Plänen für kontinuierliches Monitoring.
Fairness: Dieses Prinzip dreht sich darum, alle Personen gerecht und ohne Vorurteile zu behandeln. Die Bewertung soll sicherstellen, dass die Ressourcen fair unter verschiedenen Gruppen verteilt werden, um diskriminierende Ergebnisse zu vermeiden.
Eignung für den Zweck: Hier wird bewertet, ob eine KI-Lösung geeignet ist, um das spezifische Problem zu lösen, für das sie entwickelt wurde. Dazu gehört die Definition der beabsichtigten Verwendungen, Einschränkungen und der Zielgruppe für die Lösung.
Zuverlässigkeit und Validität: In diesem Bereich liegt der Fokus auf der Leistungsfähigkeit der KI-Lösung. Ein zuverlässiges Tool liefert konsistente Ergebnisse, während die Validität sicherstellt, dass das Modell genau das misst, was es messen soll.
Transparenz: Dieser Bereich hebt die Bedeutung klarer Kommunikation darüber hervor, wie die KI-Lösung entwickelt und gewartet wird. Es wird angestrebt, dass die Nutzer die potenziellen Risiken und Auswirkungen verstehen.
Herausforderungen bei der Implementierung
Das HEAAL-Konzept erkennt auch einige Herausforderungen bei der Anwendung dieser Bewertungsbereiche an. Es bedarf wesentlicher Fachkenntnisse und Infrastruktur, um vielfältige, robuste Datensätze zu sammeln. Das Konzept ist nützlich, aber seine vollständige Implementierung erfordert erhebliche Ressourcen und Unterstützung, besonders für Organisationen mit weniger Mitteln.
Es besteht auch ein Bedarf an finanziellen Anreizen, um Gesundheitsorganisationen zu motivieren, das HEAAL-Konzept zu übernehmen. Ohne diese Anreize besteht das Risiko, dass Organisationen zögern, KI zu nutzen, selbst wenn sie die Qualität der Versorgung verbessern könnte.
Es ist wichtig zu beachten, dass die blosse Übernahme des HEAAL-Konzepts keine Chancengleichheit garantiert. Organisationen müssen sich zu echten Veränderungen verpflichten und das Konzept nicht als Mittel nutzen, um sich verpflichtet zu zeigen, ohne echte Verbesserungen vorzunehmen.
Einschränkungen und zukünftige Richtungen
Während das HEAAL-Konzept umfassend und benutzerfreundlich ist, hat es seine Einschränkungen. Es wurde hauptsächlich im Kontext der USA entwickelt, und Nutzer in anderen Ländern könnten auf Lücken in seinen Verfahren stossen. Darüber hinaus ist das Konzept recht umfangreich, was einige Nutzer überwältigen könnte. Die Anweisungen wurden so weit wie möglich vereinfacht, um die Zugänglichkeit zu verbessern.
Eine weitere Einschränkung besteht darin, dass das HEAAL-Konzept hauptsächlich mit intern entwickelten KI-Produkten getestet wurde. Es besteht ein Bedarf, es mit extern entwickelten Produkten zu validieren, da die meisten KI-Lösungen im Gesundheitswesen nicht intern entwickelt werden.
Das Konzept wurde noch nicht mit generativen KI-Anwendungen getestet. Um es weiter zu verfeinern, hoffen wir, dass Organisationen das HEAAL-Konzept in der Praxis anwenden und auf Basis ihrer Erfahrungen Feedback geben.
Fazit
HEAAL bietet einen strukturierten Ansatz für Gesundheitsorganisationen, um zu bewerten, wie KI-Lösungen die gesundheitliche Chancengleichheit beeinflussen. Es betont die Notwendigkeit einer gründlichen Bewertung der potenziellen Auswirkungen von KI-Anwendungen und fördert die Zusammenarbeit zwischen verschiedenen Interessengruppen. Das Konzept zielt darauf ab, gesundheitliche Ungleichheiten zu mindern, während es fortlaufende Herausforderungen und Chancen im KI-gesteuerten Gesundheitswesen angeht. Durch diesen kollaborativen Ansatz hoffen wir, eine gerechte Gesundheitsversorgung voranzutreiben und offene Kommunikationskanäle für kontinuierliche Verbesserungen aufrechtzuerhalten.
Titel: Development and preliminary testing of Health Equity Across the AI Lifecycle (HEAAL): A framework for healthcare delivery organizations to mitigate the risk of AI solutions worsening health inequities
Zusammenfassung: The use of data-driven technologies such as Artificial Intelligence (AI) and Machine Learning (ML) is growing in healthcare. However, the proliferation of healthcare AI tools has outpaced regulatory frameworks, accountability measures, and governance standards to ensure safe, effective, and equitable use. To address these gaps and tackle a common challenge faced by healthcare delivery organizations, a case-based workshop was organized, and a framework was developed to evaluate the potential impact of implementing an AI solution on health equity. The Health Equity Across the AI Lifecycle (HEAAL) is co-designed with extensive engagement of clinical, operational, technical, and regulatory leaders across healthcare delivery organizations and ecosystem partners in the US. It assesses 5 equity assessment domains- accountability, fairness, fitness for purpose, reliability and validity, and transparency-across the span of eight key decision points in the AI adoption lifecycle. It is a process-oriented framework containing 37 step-by-step procedures for evaluating an existing AI solution and 34 procedures for evaluating a new AI solution in total. Within each procedure, it identifies relevant key stakeholders and data sources used to conduct the procedure. HEAAL guides how healthcare delivery organizations may mitigate the potential risk of AI solutions worsening health inequities. It also informs how much resources and support are required to assess the potential impact of AI solutions on health inequities. Author summaryIn healthcare, the use of data-driven technologies such as Artificial Intelligence (AI) and Machine Learning (ML) is increasing. However, the lack of robust regulations and standards poses a challenge to their safe and equitable use. To bridge this gap, we brought together healthcare leaders from various backgrounds in a workshop and developed the Health Equity Across the AI Lifecycle (HEAAL) framework. HEAAL evaluates how the use of AI might affect health equity. It examines five crucial domains--accountability, fairness, fitness for purpose, reliability and validity, and transparency--across eight key decision points in the AI adoption process. HEAAL offers tailored procedures for assessing both existing and new AI solutions, along with relevant stakeholders and data sources. By providing step-by-step guidance, HEAAL empowers healthcare delivery organizations to comprehend and mitigate the risk of AI exacerbating health inequities.
Autoren: Jee Young Kim, A. Hasan, K. Kellogg, W. Ratliff, S. Murray, H. Suresh, A. Valladares, K. Shaw, D. Tobey, D. Vidal, M. Lifson, M. Patel, I. D. Raji, M. Gao, W. Knechtle, L. Tang, S. Balu, M. Sendak
Letzte Aktualisierung: 2024-02-19 00:00:00
Sprache: English
Quell-URL: https://www.medrxiv.org/content/10.1101/2023.10.16.23297076
Quell-PDF: https://www.medrxiv.org/content/10.1101/2023.10.16.23297076.full.pdf
Lizenz: https://creativecommons.org/licenses/by/4.0/
Änderungen: Diese Zusammenfassung wurde mit Unterstützung von AI erstellt und kann Ungenauigkeiten enthalten. Genaue Informationen entnehmen Sie bitte den hier verlinkten Originaldokumenten.
Vielen Dank an medrxiv für die Nutzung seiner Open-Access-Interoperabilität.