Verbesserung der Fairness in prädiktiven Klassifikatoren

In vielen Situationen, in denen Vorhersagen gemacht werden, wissen wir oft nur über die Ergebnisse von Personen Bescheid, die in der Vergangenheit positiv vorhergesagt wurden. Das ist besonders im Bereich der Kreditvergabe der Fall, wo Kreditgeber erst nach der Vergabe von Geld sehen, ob Kredite zurückgezahlt werden. Diese eingeschränkten Informationen können dazu führen, dass Systeme trainiert werden, die schlechte Vorhersagen treffen, weil sie keine Daten über die haben, die fälschlicherweise abgelehnt oder negativ klassifiziert wurden.

#Problemübersicht

Wenn wir Klassifikatoren mit historischen Daten trainieren, nehmen wir oft an, dass ähnliche Muster auch für zukünftige Fälle gelten werden. Wenn wir aber nur Informationen über genehmigte Fälle bekommen, besteht die Gefahr, dass das System den Wert derjenigen, die zuvor abgelehnt wurden, falsch einschätzt. Wenn die Ergebnisse negativ klassifizierter Proben fehlen, könnten wir am Ende ungenaue Vorhersagen basierend auf fehlerhaften Schlussfolgerungen aus den Daten, die wir haben, treffen.

#Der Bedarf an fairer Datensammlung

Fairness bei Vorhersagen ist entscheidend, um sicherzustellen, dass alle Gruppen gleich behandelt werden, insbesondere in Situationen mit hohen Einsätzen wie Kreditvergabe oder rechtlichen Entscheidungen. Wenn ein Klassifikator basierend auf Rasse oder Geschlecht unterschiedlich handelt, kann das zu unfairer Behandlung führen. Gruppen von Menschen, die historisch benachteiligt wurden, erhalten möglicherweise nicht die gleichen Vorhersagen oder Vorteile wie andere, nur wegen vergangener Vorurteile in den verwendeten Trainingsdaten.

#Unser Ansatz

Wir schlagen eine Methode vor, die es ermöglicht, einen Klassifikator zu trainieren und gleichzeitig Informationen über Gruppen zu sammeln, die typischerweise übersehen werden. Das beinhaltet die Entwicklung von Explorationsstrategien, um bessere Daten über weniger vertretene Bevölkerungen zu finden, was ein faireres Ergebnis für alle gewährleistet. Unser Ansatz sorgt dafür, dass:

1. Alle Gruppen untersucht werden.
2. Die Anzahl falscher positiven Ergebnisse in Schach gehalten wird.
3. Der trainierte Klassifikator ein "gewünschtes" Mass an Fairness erreicht.

Die beste Explorationsstrategie hängt vom Kontext ab, was bedeutet, dass die Anpassung der verwendeten Methode die Fairness für spezifische Gruppen verbessern kann.

#Praktische Herausforderungen

In der täglichen Praxis werden maschinelle Lernklassifikatoren für wichtige Entscheidungen in Bereichen wie Finanzen oder Gesundheit eingesetzt. Aber es gibt viele Probleme, die auftauchen, wenn man versucht, diese Werkzeuge anzuwenden. Selektive Daten, Fehler bei der Datensammlung und Änderungen in der Verteilung dieser Daten können alle Probleme verursachen.

Eine zentrale Herausforderung ist es, einen präzisen Klassifikator in Situationen zu schaffen, in denen wir nur die Ergebnisse positiver Vorhersagen sehen. Zum Beispiel, wenn eine Bank einen Kredit gewährt, erfährt sie erst nachträglich, ob der Kredit zurückgezahlt wird, was die Daten, die sie erhält, verzerren kann.

#Datenauswahl und Training

In diesen Szenarien können wir die Qualität der gesammelten Daten verbessern, wenn wir allen zuvor nicht klassifizierten Fällen positive Ergebnisse zuordnen. Allerdings birgt das Risiken. Zu viele Proben falsch zu klassifizieren, kann erhebliche negative Folgen für Einzelpersonen und Organisationen haben.

Frühere Forschungen haben nach Lösungen gesucht, aber oft basieren diese auf unrealistischen Annahmen, die ihre Anwendung in der realen Welt einschränken. Zum Beispiel könnte angenommen werden, dass bereits alle notwendigen Ergebnisse beobachtet wurden, was irreführend sein kann.

#Wichtige Beiträge

Unsere Forschung beschäftigt sich mit dem Problem der Sammlung fairer Daten in einer Umgebung mit partiellem Feedback. Unsere Methode arbeitet schrittweise, wobei wir in jeder Phase eine Gruppe unbekannter Proben erhalten und Strategien zur Vorhersage von Ergebnissen verwenden. Sie funktioniert sowohl im Exploit- als auch im Explore-Modus:

• Exploiten: Verwendung vergangener Daten, um dort präzise Vorhersagen zu treffen, wo es möglich ist.
• Erforschen: Stichproben aus weniger informierten Bereichen, um Daten über Gruppen zu sammeln, die möglicherweise ignoriert wurden.

Wir setzen auch eine Obergrenze für falsche Positive fest, um sicherzustellen, dass unsere Vorhersagen genau sind und keine demografische Gruppe unfair bestraft wird.

#Sicherstellen von Fairness

Wir wollen ein faires System schaffen, das in jeder Phase der Datensammlung und -vorhersage eine hohe Nutzbarkeit beibehält. Das ist besonders wichtig, wenn Entscheidungen getroffen werden, die erhebliche finanzielle Auswirkungen haben können, wie die Genehmigung von Krediten. Ein gut ausgewogenes System verringert die Anzahl falscher Klassifikationen und ermöglicht eine fairere Behandlung aller Gruppen.

In unserem Ansatz können wir Fairness-Massnahmen sowohl beim Ausnutzen bekannter Informationen als auch während der Erkundung einbeziehen. Frühere Studien haben hervorgehoben, dass es nicht ausreicht, Fairness-Massnahmen nur während des Ausnutzens zu verwenden, wenn die historischen Daten voreingenommen sind.

#Empirische Ergebnisse

Wir haben unseren Ansatz mit realen Datensätzen bewertet. Die Ergebnisse deuten darauf hin, dass unsere Methode die Vorhersagen für alle Gruppen konsequent verbessert und die ungerechte Behandlung weniger vertretenen Bevölkerungen verringert.

Zum Beispiel, wenn wir Einkommensdaten einer grossen Anzahl von Einzelpersonen untersuchen, sehen wir, dass unsere Strategie die Gesamtklassifikationsgenauigkeit verbessert, während sie den Einfluss auf verschiedene demografische Gruppen ausgewogen hält.

#Einschränkungen und zukünftige Arbeiten

Obwohl unsere Methode vielversprechend ist, ist sie nicht ohne Herausforderungen. Eine Einschränkung ist, dass sie davon ausgeht, dass die Ergebnisse für alle Proben zeitnah beobachtet werden können, was in der realen Welt möglicherweise nicht der Fall ist.

Zukünftige Arbeiten müssen tiefer in verschiedene Möglichkeiten der Datensammlung eintauchen, insbesondere in Fällen, in denen Ergebnisse zu unterschiedlichen Zeiten gesehen oder berichtet werden können. Die Erweiterung unseres Rahmens, um diese Variationen zu berücksichtigen, wird dazu beitragen, die Methode robuster zu machen.

#Fazit

Dieses Framework bietet einen neuen Weg, um Daten für Klassifikationssysteme zu sammeln, die die Fairness in Entscheidungsprozessen verbessern können. Es balanciert die Notwendigkeit einer schnellen Datensammlung, während sichergestellt wird, dass die Erkundung nicht zu unnötigem Schaden für benachteiligte Gruppen führt.

Indem wir sowohl das Ausnutzen bekannter Daten als auch die Erkundung weniger verstandener Bevölkerungen in den Fokus nehmen, können wir auf ein System hinarbeiten, das sich um grössere Gerechtigkeit in den prognostizierten Ergebnissen bemüht.