Ein neuer Ansatz für Fairness in KI

Fairness in künstlicher Intelligenz (KI) ist wichtig, um ethisches Verhalten zu garantieren und Vertrauen zu halten, besonders in kritischen Bereichen wie Gesundheitswesen, Finanzen und Uni-Zulassungen. Viele Experten schauen sich an, wie man Fairness in KI-Systemen mithilfe verschiedener Fairness-Metriken messen kann. Diese Metriken helfen zu überprüfen, ob KI-Systeme verschiedene Gruppen, Untergruppen und Individuen fair behandeln. Während diese Metriken entwickelt wurden, merken einige Experten, dass unterschiedliche Leute Fairness unterschiedlich wahrnehmen. Es ist wichtig, verschiedene Interessengruppen einzubeziehen, um zu entscheiden, welche Fairness-Metriken verwendet werden sollen.

Aber es ist schwierig, Fairness-Metriken Leuten ohne KI-Wissen zu erklären und ihre Meinungen einzuholen. Um das zu lösen, schlagen wir ein neues Framework namens EARN Fairness vor. Dieses Framework hilft verschiedenen Stakeholdern, unabhängig von ihrem KI-Wissen, gemeinsam über Fairness-Metriken zu entscheiden. Das Framework nutzt ein interaktives System und einen klaren Prozess, der die Stakeholder durch das Verständnis der Fairness-Metriken führt, ihre persönlichen Präferenzen teilt, die Metriken gemeinsam überprüft und eine Vereinbarung über die ausgewählten Metriken trifft.

#Die Bedeutung von KI-Fairness

KI-Systeme beeinflussen zunehmend das Leben der Menschen, weshalb Fairness in diesen Systemen essenziell ist. Sicherzustellen, dass KI fair handelt, geht nicht nur darum, das Gesetz zu befolgen; es geht auch darum, menschliches Vertrauen und Integrität zu bewahren. Viele Experten arbeiten daran, Fairness mit verschiedenen Metriken zu definieren. Die derzeitigen Methoden konzentrieren sich auf drei zentrale Bereiche: Gruppenfairness, Untergruppenfairness und Individualfairness.

Gruppenfairness schaut sich an, wie verschiedene Gruppen behandelt werden, meist definiert durch Merkmale wie Alter, Geschlecht oder Rasse. Untergruppenfairness betrachtet kleinere Gruppen innerhalb der grösseren Kategorien genauer. Individualfairness konzentriert sich darauf, sicherzustellen, dass ähnliche Personen in relevanten Aspekten ähnlich behandelt werden.

Trotz vieler Metriken gibt es Herausforderungen. Erstens ist es schwer zu entscheiden, welche Metriken die besten sind, da es keine One-Size-Fits-All-Lösung gibt. Zweitens werden Entscheidungen oft ohne Input von den betroffenen Personen getroffen, was zu Metriken führt, die nicht mit den Vorstellungen der Stakeholder von Fairness übereinstimmen. Schliesslich, selbst wenn die Meinungen der Menschen gehört werden, sind sie oft uneinig darüber, was Fairness bedeutet.

Zum Beispiel, wenn eine Gruppe von Stakeholdern diskutiert, wie man Fairness für ein Kredit-KI-System bewertet, könnten sie unterschiedliche Meinungen darüber haben, ob man die Gruppenfairness oder die Individualfairness betonen sollte. Einige könnten denken, dass es am wichtigsten ist, Individuen gleich zu behandeln, während andere darauf bestehen, dass ganze Gruppen fair behandelt werden.

#Herausforderungen bei der Messung von Fairness

Derzeit gibt es über 20 verschiedene Fairness-Metriken, die von Experten verwendet werden, aber jede hat ihre eigenen Stärken und Schwächen. Der Prozess, die richtige Metrik auszuwählen, kann kompliziert sein und erfordert ein tiefes Verständnis, das viele Stakeholder möglicherweise nicht haben. Ausserdem, selbst wenn die Metriken verstanden werden, haben die Stakeholder oft widersprüchliche Vorstellungen von Fairness.

Forschungen zeigen, dass Stakeholder, wenn sie nach ihrer Meinung gefragt werden, oft Individualfairness-Metriken den Gruppenfairness-Metriken vorziehen. Allerdings gab es noch keine umfassende Untersuchung, wie man einen Konsens darüber erreichen kann, welche Metriken verwendet werden sollen, wenn die Stakeholder uneinig sind.

Ein üblicher Ansatz, um Meinungen einzuholen, ist, dass Stakeholder verschiedene KI-Modelle vergleichen, um zu sehen, welches sie als fairer empfinden. Viele dieser Methoden vernachlässigen jedoch die Komplexität von Fairness und verlassen sich auf indirekte Methoden, um herauszufinden, was die Leute denken.

Erkennend, dass es notwendig ist, die Fairness-Metriken klar zu kommunizieren, haben Forscher damit begonnen, Werkzeuge und Frameworks zu entwickeln. Allerdings haben sich die meisten dieser Bemühungen darauf konzentriert, eine begrenzte Anzahl von Metriken zu erklären und haben nicht ausreichend die Vielzahl von Ansichten zur Fairness behandelt.

#Einführung des EARN Fairness-Frameworks

Um diese Probleme zu lösen, schlagen wir das EARN (Explain, Ask, Review, Negotiate) Fairness-Framework vor. Das Ziel dieses Frameworks ist es, Stakeholdern zu helfen, ein gemeinsames Verständnis von Fairness zu entwickeln, ohne vorheriges KI-Wissen zu benötigen.

#Komponenten des EARN Fairness

1. Erklären: In diesem Schritt geht es darum, die Stakeholder über verschiedene Fairness-Metriken in einfacher Sprache und mit Beispielen aufzuklären. Ziel ist es, sicherzustellen, dass alle verstehen, was jede Metrik bedeutet und wie sie in ihrem Kontext angewendet wird.

2. Fragen: Nachdem die Stakeholder ein Verständnis für die Metriken haben, werden sie dazu aufgefordert, ihre persönlichen Präferenzen zur Fairness zu teilen. Sie werden ihre Top-Auswahlen bewerten und Gründe für ihre Entscheidungen angeben.

3. Überprüfen: In dieser Phase kommen die Stakeholder zusammen, um die Metriken zu besprechen und ein gemeinsames Verständnis ihrer Definitionen und Auswirkungen aufzubauen.

4. Verhandeln: Der letzte Schritt besteht darin, einen Konsens auszuhandeln. Die Stakeholder arbeiten zusammen, um zu entscheiden, welche Metriken verwendet werden, wobei sie ihre Präferenzen abwägen.

Durch die Anwendung des EARN Fairness-Frameworks können Stakeholder offen über Fairness sprechen, was zu gerechteren und akzeptierten KI-Systemen führt.

#Benutzerstudie Überblick

Um das EARN Fairness-Framework zu bewerten, haben wir eine Studie mit einem Kreditbewertungs-Szenario durchgeführt. Wir haben 18 Teilnehmer eingeladen, die kein KI-Wissen hatten, an dieser Studie teilzunehmen. Jeder Teilnehmer wurde gebeten, ihre bevorzugten Fairness-Metriken zu bewerten und ihre akzeptablen Ungerechtigkeitslevels anzugeben.

Die Studie war in zwei Hauptsitzungen unterteilt: individuelle Sitzungen, in denen die Teilnehmer die Erklären- und Fragen-Phasen durchführten, und eine Team-Sitzung, in der sie an den Überprüfen- und Verhandeln-Phasen teilnahmen. Die Teilnehmer teilten Einblicke über ihre Metriken und diskutierten, wie man eine gemeinsame Entscheidung erreichen kann.

#Ergebnisse zu persönlichen Präferenzen

#Präferenzen für Fairness-Metriken

Nach der Analyse der Ranglisten der Teilnehmer stellte sich heraus, dass die meisten Individualfairness-Metriken den Gruppenfairness-Metriken vorzogen. Die beliebtesten Metriken umfassten Bedingte Statistische Parität, Konsistenz und Gegenfaktische Fairness. Auffällig war, dass traditionelle Metriken wie Demographische Parität nicht bevorzugt wurden.

Diese Präferenz zeigt, dass Stakeholder Wert darauf legen, Fairness auf individueller Ebene zu bewerten, wobei der Fokus darauf liegt, wie Entscheidungen bestimmte Personen und nicht grosse Gruppen beeinflussen. Es wurde auch beobachtet, dass viele Teilnehmer eine Vorliebe für Untergruppenfairness äusserten, bei der mehrere Merkmale berücksichtigt werden.

#Fairness-Schwellenwerte

Die Teilnehmer setzten ihre akzeptablen Ungerechtigkeitslevel unterschiedlich fest. Es gab eine breite Spanne von 0% bis 30% für Gruppenfairness und Untergruppenfairness, während die Schwellenwerte für Individualfairness sogar noch höher lagen, von 80% bis 100%. Diese Variabilität zeigt, dass Individuen unterschiedliche Perspektiven darauf haben, was als akzeptable Ungerechtigkeit in KI-Entscheidungen gilt.

#Konsens verhandeln

#Verhandlungsstile

Während der Teamsitzungen traten verschiedene Verhandlungsansätze zutage. Einige Teams wählten ein Mehrheitsvotingsystem, um über die Metriken zu entscheiden. Andere engagierten sich in diskussionsbasierten Methoden, indem sie die Gründe hinter ihren Entscheidungen diskutierten, bevor sie einen Konsens erreichten.

Zum Beispiel entschied sich ein Team, die Untergruppenfairness zu priorisieren und wählte dann die Bedingte Statistische Parität als ihre Hauptmetrik, während ein anderes Team sich entschied, zunächst die Gegenfaktische Fairness für individuelle Fälle zu fokussieren. Diese Verhandlungen zeigten, dass obwohl die Präferenzen stark variieren, die Teams durch offenen Dialog zu Übereinstimmung kommen konnten.

#Konsensbildung

Der Schlüssel zur Konsensbildung war es, die Teilnehmer dazu zu ermutigen, ihre Gründe für ihre Präferenzen zu kommunizieren und aktiv zuzuhören. Während die Diskussionen voranschritten, fanden viele Teilnehmer einen gemeinsamen Nenner, was die Bedeutung des gemeinsamen Ansatzes von individueller und Gruppenfairness unterstreicht.

#Implikationen und zukünftige Richtungen

#Breitere Anwendung von EARN Fairness

Obwohl das Framework in einem Kreditbewertungs-Szenario getestet wurde, gibt es zahlreiche Anwendungen in verschiedenen Bereichen wie Gesundheitswesen, Beschäftigung und Bildung. Das EARN Fairness-Framework kann an andere Kontexte angepasst werden, um sicherzustellen, dass Fairness eine Priorität in der KI-Entwicklung bleibt.

#Verbesserung von Fairness-Werkzeugen

Zukünftige Forschungen sollten sich darauf konzentrieren, Werkzeuge zu entwickeln, die es Stakeholdern erleichtern, Fairness-Metriken zu verstehen und ihre Optionen zu erkunden. Das Anpassen des Frameworks für verschiedene Stakeholder-Gruppen wird ebenfalls entscheidend für die breite Akzeptanz und Umsetzung sein.

#Fairness in KI adressieren

Die Kombination von technologischen Lösungen mit menschorientierten Ansätzen ist entscheidend, um die Komplexitäten von KI-Fairness anzugehen. Das EARN Fairness-Framework zeigt vielversprechende Ansätze, um die Lücke zwischen technischen Metriken und sozialen Werten zu überbrücken und Diskussionen zu fördern, die die unterschiedlichen Bedürfnisse und Verständnisse aller beteiligten Stakeholder widerspiegeln.

#Fazit

Das EARN Fairness-Framework bietet einen strukturierten Ansatz, damit Stakeholder in Diskussionen über Fairness in KI einsteigen können. Indem wir uns auf gemeinsames Verständnis, Präferenzen und Verhandlungen konzentrieren, können wir gerechtere KI-Systeme schaffen, die mit gesellschaftlichen Werten übereinstimmen. Dieses Framework dient als Weg für zukünftige Forschung und Praxis und verbessert letztlich, wie Fairness in KI-Systemen definiert und bewertet wird.