Simple Science

Hochmoderne Wissenschaft einfach erklärt

# Computerwissenschaften# Rechnen und Sprache# Künstliche Intelligenz# Maschinelles Lernen

Die Auswirkungen von KI auf benachteiligte Gemeinschaften bewerten

Diese Studie untersucht die Rolle von KI bei der Erkennung von Hassrede und deren Auswirkungen auf marginalisierte Gruppen.

― 6 min Lesedauer


KI-Schaden inKI-Schaden inmarginalisiertenGemeinschaftenschutzbedürftige Gruppen verstärken.KI-Systeme könnten Vorurteile gegen
Inhaltsverzeichnis

Dieser Artikel bespricht, wie künstliche Intelligenz (KI) marginalisierte Gemeinschaften beeinflusst, wenn es darum geht, schädliche Inhalte wie Hassrede und Toxizität zu erkennen. Traditionelle Methoden betrachten die Unterschiede in der KI-Leistungsfähigkeit zwischen bestimmten Gruppen, aber das kann Muster von Schaden verschleiern, besonders für Personen mit gemischten Identitäten. Um das zu verbessern, ziehen wir Ideen aus der Behindertenforschung heran, um diese verwundbaren Gruppen besser zu identifizieren.

Das Problem mit den aktuellen Methoden

Aktuelle Ansätze kategorisieren Menschen oft anhand breiter demografischer Labels wie Rasse oder Geschlecht. Während das einige Einblicke bietet, kann es bedeutende Probleme übersehen, die mit überlappenden Identitäten verbunden sind. Zum Beispiel kann der Fokus auf einzelne ethnische Gruppen die Herausforderungen ignorieren, mit denen multikulturelle Personen konfrontiert sind.

Ausserdem wird es überwältigend, wenn wir viele demografische Kategorien wie Rasse, Geschlecht und Behinderung betrachten, da die Vielfalt der möglichen Untergruppen enorm ist. Das kann dazu führen, dass wichtige Probleme übersehen werden, besonders für kleinere, intersektionale Gruppen, die nicht gut in grössere Kategorien passen.

Vorgeschlagene Methode

Um diese Herausforderungen zu bewältigen, schlagen wir vor, eine Ausreissererkennung zu verwenden. Diese Methode hilft, Individuen zu identifizieren, deren Merkmale sich signifikant von der Mehrheit innerhalb des Datensatzes unterscheiden. Durch den Fokus auf diese Ausreisser können wir Modellfehler aufdecken, die besonders marginalisierte Gruppen betreffen.

Forschungsergebnisse

Dieser Artikel präsentiert drei Hauptbefunde:

  1. Neuer Ansatz: Wir führen eine Methode ein, die Techniken zur Ausreissererkennung nutzt, um Gruppen zu identifizieren, die von KI-bezogenen Schäden bedroht sind. Das verschiebt den Fokus von rein demografischen Kategorien hin zu denjenigen, die ausserhalb der Norm betrachtet werden.

  2. Bemerkenswerte Unterschiede: Wir stellen fest, dass die Verwendung von Ausreisseranalysen grössere Unterschiede in der KI-Leistungsfähigkeit zeigt im Vergleich zu traditionellen, demografiebasierten Analysen. Das zeigt, dass unsere Methode bedeutendere Probleme aufdecken kann, die diese Gruppen betreffen.

  3. Aufmerksamkeit für Details: Unsere Ergebnisse deuten darauf hin, dass bestimmte Toxizitäten, wie schwere Toxizität und Identitätsangriffe, unter Ausreissern häufiger vorkommen. Das hebt hervor, wie wahrscheinlich es ist, dass marginalisierte Individuen die schlimmsten Formen von Hassrede erleben.

Hintergrund

Die Auswirkungen von KI auf marginalisierte Gruppen

KI-Modelle spiegeln oft gesellschaftliche Vorurteile wider. Wenn diese Modelle hauptsächlich mit Daten von Mehrheitsgruppen trainiert werden, sind sie weniger effektiv darin, schädliche Inhalte zu identifizieren, die sich gegen Ausreisser oder marginalisierte Gruppen richten. Das führt dazu, dass diese Personen höheren Risiken durch die Algorithmen ausgesetzt sind, die verwendet werden, um Online-Inhalte zu regulieren.

Einblicke aus der Behindertenforschung

Die Behindertenforschung bietet eine Perspektive, um die Erfahrungen derjenigen zu verstehen, die nicht dem "normalen" Muster entsprechen. Indem wir diese Einblicke auf KI anwenden, können wir besser begreifen, wie gesellschaftliche Normen die Technologie beeinflussen und die Herausforderungen für marginalisierte Gemeinschaften verschärfen.

Die Bedeutung der Ausreissererkennung

Die Ausreissererkennung zielt darauf ab, Datenpunkte zu identifizieren, die signifikant von der Norm abweichen. Für diese Studie haben wir verschiedene Arten von Ausreissern betrachtet, einschliesslich solcher, die auf Text, demografischen Labels und Meinungsverschiedenheiten der Annotatoren basieren. Dieser Prozess hilft uns, Muster von Schäden zu identifizieren, die traditionelle Methoden möglicherweise übersehen.

Analyse der Ausreisser

Bei der Analyse verschiedener Ausreissertypen erwarten wir, dass sie Individuen repräsentieren, deren Erfahrungen in den Trainingsdaten weniger erfasst sind. Dazu können untypische Sprache oder Kommentare gehören, die eine Vielzahl von demografischen Identitäten thematisieren. Durch den Fokus auf diese Ausreisser können wir herausfinden, welche Gruppen besonders benachteiligt durch KI-Systeme sind.

Datensatz und Methodik

In dieser Studie haben wir drei öffentlich verfügbare KI-Tools zur Toxizitätserkennung verwendet. Diese Tools messen verschiedene Arten von toxischen Inhalten, einschliesslich Hassrede. Wir haben speziell einen Datensatz ausgewählt, der detaillierte demografische Annotationen enthält, um den Einfluss verschiedener Identitäten auf die Toxizitätserkennung zu verstehen.

Datenauswahl

Der ausgewählte Datensatz enthält Kommentare, die aufgrund demografischer Merkmale gesammelt und annotiert wurden. Das ermöglicht es uns, zu untersuchen, wie verschiedene Gruppen Online-Toxizität erleben. Aus diesem Datensatz haben wir eine repräsentative Stichprobe entnommen, um die Modellleistung im Hinblick auf Ausreisser zu analysieren.

Ergebnisse zur Modellleistung

Leistungsunterschiede

Unsere Analyse zeigt erhebliche Unterschiede in der Leistungsfähigkeit von KI-Modellen für Ausreissergruppen im Vergleich zu Nicht-Ausreissern. Zum Beispiel haben wir gefunden, dass demografische Ausreisser bis zu 70,4% mehr Fehler zwischen Ausreissern und Nicht-Ausreissern erlitten. Ebenso erlebten Textausreisser einen Leistungsabfall von bis zu 68,4%. Solche Unterschiede sind kritisch, da sie auf ein Versagen der Modelle hindeuten, schädliche Sprache, die sich gegen marginalisierte Gemeinschaften richtet, genau zu identifizieren.

Analysierte Toxizitätsarten

Bei der Untersuchung der verschiedenen im Datensatz vorhandenen Toxizitätsarten haben wir festgestellt, dass Identitätsangriffe und schwere Toxizität unter demografischen und Textausreissern besonders häufig vorkamen. Das Verständnis dieser Unterschiede ist entscheidend, um KI-Tools zu verbessern und sicherzustellen, dass sie keinen Schaden anrichten.

Auswirkungen auf KI und Gesellschaft

Diese Ergebnisse heben die Notwendigkeit hervor, kritisch zu bewerten, wie KI angewendet wird, insbesondere in Bezug auf marginalisierte Gemeinschaften. Wenn KI-Systeme nicht richtig entworfen oder trainiert werden, können sie bestehende Vorurteile und Ungleichheiten verschärfen, anstatt sie zu mildern.

Algorithmische Überprüfung

Algorithmische Überprüfung untersucht, wie KI-Modelle arbeiten und potenzielle Vorurteile identifizieren. Unsere Arbeit betont die Wichtigkeit, die Ausreisseranalyse in diese Bewertungen einzubeziehen. Das wird helfen, sicherzustellen, dass KI-Systeme gerechter sind und marginalisierte Individuen nicht unbeabsichtigt schaden.

Zukünftige Richtungen

Während wir weiterhin die Auswirkungen unserer Ergebnisse erkunden, erkennen wir die Notwendigkeit weiterer Forschung, wie Ausreisserkennung weit verbreitete geschädigte Gruppen identifizieren kann, selbst in Datensätzen, die keine expliziten demografischen Daten enthalten. Dies könnte die Bemühungen um Fairness in KI-Modellen in verschiedenen Anwendungen verbessern.

Fazit

Zusammenfassend zeigt unsere Forschung, wie wichtig es ist, Ausreisser zu berücksichtigen, wenn es darum geht, die Auswirkungen von KI auf marginalisierte Gruppen zu bewerten. Indem wir uns auf diejenigen konzentrieren, die oft übersehen werden, können wir Einblicke in die in KI-Systemen eingebetteten Vorurteile gewinnen und an der Schaffung inklusiver Technologien arbeiten. Diese Ergebnisse bereiten den Weg für bedeutende Gespräche über Gleichheit, Repräsentation und die Rolle von KI in der Gesellschaft.

Originalquelle

Titel: Centering the Margins: Outlier-Based Identification of Harmed Populations in Toxicity Detection

Zusammenfassung: The impact of AI models on marginalized communities has traditionally been measured by identifying performance differences between specified demographic subgroups. Though this approach aims to center vulnerable groups, it risks obscuring patterns of harm faced by intersectional subgroups or shared across multiple groups. To address this, we draw on theories of marginalization from disability studies and related disciplines, which state that people farther from the norm face greater adversity, to consider the "margins" in the domain of toxicity detection. We operationalize the "margins" of a dataset by employing outlier detection to identify text about people with demographic attributes distant from the "norm". We find that model performance is consistently worse for demographic outliers, with mean squared error (MSE) between outliers and non-outliers up to 70.4% worse across toxicity types. It is also worse for text outliers, with a MSE up to 68.4% higher for outliers than non-outliers. We also find text and demographic outliers to be particularly susceptible to errors in the classification of severe toxicity and identity attacks. Compared to analysis of disparities using traditional demographic breakdowns, we find that our outlier analysis frequently surfaces greater harms faced by a larger, more intersectional group, which suggests that outlier analysis is particularly beneficial for identifying harms against those groups.

Autoren: Vyoma Raman, Eve Fleisig, Dan Klein

Letzte Aktualisierung: 2023-12-01 00:00:00

Sprache: English

Quell-URL: https://arxiv.org/abs/2305.14735

Quell-PDF: https://arxiv.org/pdf/2305.14735

Lizenz: https://creativecommons.org/licenses/by/4.0/

Änderungen: Diese Zusammenfassung wurde mit Unterstützung von AI erstellt und kann Ungenauigkeiten enthalten. Genaue Informationen entnehmen Sie bitte den hier verlinkten Originaldokumenten.

Vielen Dank an arxiv für die Nutzung seiner Open-Access-Interoperabilität.

Mehr von den Autoren

Ähnliche Artikel