Fairness in Machine Learning: Ein Multi-Attribut-Ansatz

Maschinelles Lernen (ML) wird immer mehr in wichtigen Bereichen wie Finanzen, Gesundheitswesen und Bildung eingesetzt. Allerdings können diese Systeme manchmal unfair handeln, basierend auf geschützten Merkmalen wie Rasse, Geschlecht oder Alter. Diese Ungerechtigkeiten können echte Konsequenzen für Menschen aus benachteiligten Gruppen haben. Da viele Leute mehrere geschützte Merkmale haben, ist es wichtig, diese Merkmale gemeinsam zu betrachten und nicht einzeln.

#Die Herausforderung der Fairness

Die meisten aktuellen Forschungen konzentrieren sich darauf, Fairness basierend auf einem einzigen geschützten Merkmal zu gewährleisten. Dieser Ansatz ist begrenzt und spiegelt nicht die Realität wider, dass viele Menschen zu mehreren Gruppen gehören. Zum Beispiel kann jemand sowohl eine Frau als auch Mitglied einer Minderheitenrasse sein. Wenn Fairness nur für ein Merkmal gleichzeitig gemessen wird, könnte das unbeabsichtigt die Fairness für die anderen Merkmale verschlechtern.

#Forschungsziele

Diese Studie zielt darauf ab, zu untersuchen, wie gut verschiedene Methoden die Fairness verbessern, wenn mehrere geschützte Merkmale gleichzeitig betrachtet werden. Wir analysieren 11 verschiedene moderne Methoden zur Verbesserung der Fairness über verschiedene Datensätze und ML-Modelle hinweg. Die zentralen Fragen, die wir erforschen, sind:

1. Wie wirken sich diese Methoden auf die Fairness in Bezug auf Merkmale aus, die nicht direkt im Fokus standen?
2. Wie effektiv sind diese Methoden, um die Fairness für Menschen mit mehreren geschützten Merkmalen zu verbessern?
3. Welche Kompromisse schaffen diese Methoden zwischen Fairness und der Gesamtleistung des ML-Systems?
4. Wie anpassungsfähig sind diese Methoden an verschiedene Datensätze und Modelle?

#Daten und Methoden

Um unsere Forschung durchzuführen, haben wir fünf weit anerkannten Datensätze verwendet, die demografische Informationen und verschiedene geschützte Merkmale enthalten. Jeder Datensatz wurde genutzt, um mehrere ML-Modelle zu trainieren, darunter Logistische Regression, Support Vector Machine, Random Forest und Deep Neural Network.

Wir haben uns auf 11 verschiedene Methoden zur Verbesserung der Fairness konzentriert. Diese Methoden fallen in drei Kategorien:

1. Pre-Processing-Methoden: Diese ändern die Trainingsdaten, um Vorurteile zu reduzieren. Beispiele sind:

   • Neugewichtung: Anpassung der Wichtigkeit verschiedener Datenpunkte basierend auf ihrer Gruppe.
   • Disparate Impact Remover: Modifizierung von Datenmerkmalen, um Fairness zu erreichen.

2. In-Processing-Methoden: Diese werden während des Trainings der ML-Modelle angewendet, um Fairness bei der Erstellung des Modells zu optimieren. Beispiele sind:

   • Adversarial Debiasing: Training des Modells, um den Einfluss geschützter Merkmale zu begrenzen, ohne die Genauigkeit zu gefährden.
   • Prejudice Remover: Hinzufügen von Regeln, um Vorurteile während des Modelltrainings zu minimieren.

3. Post-Processing-Methoden: Diese passen die Ergebnisse des Modells nach dem Training an, um faire Ergebnisse sicherzustellen. Beispiele sind:

   • Equalized Odds Processing: Anpassung der Vorhersagen, um Fairness über Gruppen hinweg zu erreichen.
   • Reject Option Classification: Sorgfältige Entscheidungen darüber, wem günstige oder ungünstige Ergebnisse zugewiesen werden.

#Fairness-Metriken

Um die Fairness der ML-Systeme zu bewerten, haben wir drei allgemein akzeptierte Fairness-Metriken verwendet:

• Statistische Paritätsdifferenz (SPD): Misst den Unterschied in günstigen Ergebnissen zwischen privilegierten und unprivilegierten Gruppen.
• Durchschnittliche Odds-Differenz (AOD): Bewertet die Unterschiede in falsch-positiven und richtig-positiven Raten zwischen Gruppen.
• Gleichheits-Chancen-Differenz (EOD): Bewertet die Unterschiede in richtig-positiven Raten zwischen Gruppen.

#Ergebnisse

#Auswirkungen auf nicht berücksichtigte Merkmale

Unsere Forschung hat ergeben, dass die Verbesserung der Fairness für ein geschütztes Merkmal oft die Fairness für andere verschlechtert. In vielen Fällen reduzierten die verwendeten Methoden die Fairness hinsichtlich der Merkmale, die nicht das Ziel der Verbesserung waren. Dies war in bis zu 88,3% der untersuchten Szenarien offensichtlich, mit einem durchschnittlichen Rückgang der Fairness von 57,5%.

#Intersektionale Fairness

Bei der Anwendung der Methoden zur Verbesserung der Fairness über mehrere Merkmale hinweg fanden wir unterschiedliche Erfolgsraten. Einige Methoden verbesserten die Fairness für Untergruppen, die durch Kombinationen geschützter Merkmale definiert sind, erheblich. Die Methoden, die sich in ihrer Effektivität hervortaten, waren Fair-SMOTE, MAAT und FairMask, die die besten Verbesserungen in der intersektionalen Fairness zeigten.

Insbesondere Fair-SMOTE glänzte durch die Fähigkeit, ausgewogene Datensätze zu erstellen, indem es synthetische Proben generierte. MAAT hielt sowohl Fairness als auch Leistung aufrecht, indem es spezielle Modelle für jedes Merkmal nutzte, während FairMask Vorhersagen basierend auf geschützten Merkmalen anpasste.

#Kompromisse zwischen Fairness und Leistung

Eine der wichtigsten Erkenntnisse unserer Studie ist der Kompromiss zwischen Fairnessverbesserungen und der Leistung von ML-Modellen. Während die Genauigkeit im Allgemeinen bei der Behandlung mehrerer Merkmale aufrechterhalten wurde, erlitten andere Metriken wie Präzision und Rückruf erhebliche Rückgänge. Insbesondere war der Einfluss auf Präzision und Rückruf bei der Behandlung mehrerer Merkmale etwa fünfmal bzw. achtmal grösser als bei der Behandlung eines einzelnen Merkmals.

Diese Diskrepanz hebt eine wichtige Lücke in der aktuellen Forschung hervor, wo Genauigkeit oft im Fokus steht. Indem man Metriken wie Präzision und Rückruf ignoriert, riskieren Forscher, bedeutende Auswirkungen auf die Leistung zu übersehen, die reale Anwendungen betreffen könnten.

#Anwendbarkeit der Methoden

Wir haben die Anpassungsfähigkeit der ausgewählten Methoden zur Verbesserung der Fairness über verschiedene Datensätze und Modelle hinweg bewertet. Auffällig war, dass Methoden wie FairMask, MAAT und RW konsequent gute Ergebnisse lieferten. Sie verbesserten die intersektionale Fairness über verschiedene Datensätze, Modelle und Metriken hinweg.

Allerdings haben wir festgestellt, dass diese Methoden Schwierigkeiten hatten, wenn es um unausgewogene Datensätze ging, bei denen eine Gruppe die anderen erheblich überzahlte. Fairness in solchen Szenarien zu erreichen, ist herausfordernder, da die Methoden unbeabsichtigt die Mehrheitsgruppe begünstigen könnten.

#Auswirkungen auf die Beteiligten

#Für Software-Ingenieure

• Risiko-Bewusstsein: Ingenieure sollten vorsichtig sein, wenn sie sich auf spezifische geschützte Merkmale bei den Fairnessverbesserungsmassnahmen konzentrieren. Wenn sie nur ein Merkmal ins Visier nehmen, kann das zu schlechteren Ergebnissen für andere Gruppen führen. Das birgt das Risiko, antidiscrimination Gesetze zu verletzen.

• Methodenauswahl: Die Ergebnisse unserer Studie bieten Einblicke, welche Methoden zur Verbesserung der Fairness eingesetzt werden sollten. Beispielsweise, wenn der Zugang zu Trainingsdaten begrenzt ist, könnten Ingenieure auf Post-Processing-Methoden wie EOP zurückgreifen. Wenn Daten verfügbar sind, könnten sie Methoden wie MAAT oder FairMask wählen.

#Für politische Entscheidungsträger

• Rechtsüberlegungen: Die Studie zeigt, dass Fairnessziele miteinander konkurrieren können. Um Fairness über verschiedene Merkmale hinweg sicherzustellen, müssen Gesetze möglicherweise flexibel gestaltet werden, wobei zu berücksichtigen ist, dass nicht alle Fairnessbedürfnisse gleichzeitig erfüllt werden können.

#Für Forscher

• Breitere Fokussierung: Forscher sollten ihren Fokus über die Fairness eines einzelnen Merkmals hinaus erweitern und betrachten, wie sich Methoden auf nicht berücksichtigte Merkmale auswirken. Dieses Verständnis kann zu effektiveren Lösungen in der Zukunft führen.

• Multi-Objective-Optimierung: Es gibt Raum für die Entwicklung von Techniken, die sowohl Fairness als auch Leistung gleichzeitig ansprechen und die Gesamteffektivität von ML-Systemen verbessern.

• Post-Processing-Techniken: Da viele Methoden zur Verbesserung der Fairness Zugang zu sensitiven Trainingsdaten erfordern, sollten Forscher die Entwicklung von Post-Processing-Techniken wie EOP priorisieren, die keine solchen Datenanforderungen haben.

#Fazit

Diese Studie wirft Licht auf die Komplexität, Fairness in ML-Systemen zu erreichen, wenn mehrere geschützte Merkmale im Spiel sind. Die Ergebnisse betonen die Notwendigkeit eines vielschichtigen Ansatzes zur Verbesserung der Fairness, bei dem Software-Ingenieure, Forscher und politische Entscheidungsträger zusammenarbeiten, um Risiken im Zusammenhang mit Diskriminierung zu mindern und gerechte Ergebnisse für alle Individuen sicherzustellen. Indem wir Fairness aus verschiedenen Perspektiven angehen, können wir inklusivere und gerechtere ML-Systeme schaffen, von denen alle profitieren.