Analyse von Geschlechtervorurteilen in Sprachmodellen über verschiedene Sprachen hinweg

Mit dem Aufkommen von grossen Sprachmodellen (LLMs), die in verschiedenen Bereichen eingesetzt werden, ist es wichtig zu schauen, wie Geschlechtervorurteile in diesen Modellen vorhanden sind. Die meisten Diskussionen über Geschlechterbias haben sich auf Englisch konzentriert, aber Bias in anderen Sprachen wurde nicht so viel untersucht. Dieser Artikel beleuchtet Geschlechterbias in den Ausgaben, die von LLMs in mehreren Sprachen generiert werden. Wir betrachten drei Hauptbereiche: 1) Bias bei der Wortwahl im Zusammenhang mit Geschlecht, 2) Bias bei der Verwendung von Geschlechterpronomen und 3) Bias in den Themen von Gesprächen, die von LLMs produziert werden. Durch unsere Forschung haben wir in allen Sprachen, die wir untersucht haben, ein bemerkenswertes Geschlechterbias festgestellt.

Da sich LLMs weiterentwickeln und in verschiedenen Bereichen – einschliesslich Dialogsystemen und kreativem Schreiben – integriert werden, dienen sie nicht mehr nur als nützliche Werkzeuge. Sie werden zunehmend einflussreich in verschiedenen Sektoren wie Bildung und Technologie. Solch ein Einfluss unterstreicht den Schaden, den Vorurteile verursachen können, da diese Modelle soziale Probleme verstärken und zu ethischen Bedenken führen können.

Viele Studien haben Geschlechterbias in NLP-Modellen identifiziert, wobei oft spezifische Aufgaben in Englisch im Fokus standen und nur begrenzte Methoden zur Bewertung von Geschlechterbias verwendet wurden. LLMs sind für unterschiedliche Aufgaben konzipiert, und ihre Bias kann sich auf verschiedene Weise zeigen. Da die Nutzer aus unterschiedlichen Sprachhintergründen kommen, ist es entscheidend zu verstehen, wie Geschlechterbias in verschiedenen Sprachen auftritt. Verschiedene Sprachen können unterschiedliche Niveaus von Geschlechterbias in den von LLMs generierten Ausgaben haben, und dies zu erkennen, kann helfen, solche Vorurteile zu verringern und LLMs gerechter und kulturell sensibler zu machen.

Um den Mangel an Bewertungsmethoden für Geschlechterbias in LLMs zu adressieren, hebt unsere Studie die Gespräche hervor, die von diesen Modellen produziert werden. Wir schlagen drei quantitative Methoden zur Bewertung von Geschlechterbias vor, die verschiedene Aspekte von Vorurteilen widerspiegeln können. Wir haben Experimente in sechs Sprachen mit mehreren führenden LLMs, einschliesslich der GPT-Serie, durchgeführt, um die Niveaus von Geschlechterbias zu vergleichen.

Die Ergebnisse können wie folgt zusammengefasst werden:

• Geschlechterbias ist offensichtlich in der Art und Weise, wie bestimmte beschreibende Worte mit Geschlecht in Zusammenhang stehen.
• Geschlechterbias zeigt sich in der Vorhersage von Geschlechterrollen basierend auf persönlichen Beschreibungen.
• Geschlechterbias spiegelt sich in den Unterschieden in den Themen wider, die von männlichen und weiblichen Sprechern behandelt werden.

Diese Erkenntnisse beleuchten die Existenz von Geschlechterbias in LLM-Ausgaben und leiten zukünftige Arbeiten zur Verringerung von Bias in LLM-generierten Texten.

#Verwandte Arbeiten

Es wurden verschiedene Methoden entwickelt, um Fairness in maschinellen Lernklassifikatoren zu messen. Ein gängiger Ansatz ist der Disparate Impact, der Fairness bewertet, indem das Verhältnis der Ergebnisse zwischen Gruppen betrachtet wird. Andere Methoden wie Demographic Parity und Equalized Odds berücksichtigen die Grundwahrheit genauer. Individuelle Fairness betrachtet die Fairness zwischen Individuen basierend auf ihren bereitgestellten Informationen.

Im Kontext von Geschlechterbias in Sprachmodellen zielt die meiste vorhandene Forschung auf einzelne Sprachen ab, hauptsächlich Englisch und Deutsch. Einige Studien haben bilinguale Situationen betrachtet, aber es gibt eine klare Lücke in der Bewertung von Geschlechterbias über mehrere Sprachen hinweg. Benchmarks wie WinoBias und Winogender wurden verwendet, um Geschlechterbias in Sprachmodellen zu untersuchen.

Neuere Studien haben den Fokus auf Geschlechterbias in Modellen wie BERT erhöht, wobei diese Modelle zur Extraktion von Einbettungen verwendet werden. Allerdings wurde wenig über Geschlechterbias über Sprachen hinweg unter Verwendung von LLMs erforscht. Die meisten Studien neigen dazu, Bias in der maschinellen Übersetzung von einer Sprache in eine andere zu untersuchen. Zum Beispiel stellte eine Studie fest, dass LLMs oft mit männlich geprägten Formen übersetzen und stereotype Vorurteile, die mit weiblichen Rollen verbunden sind, übersehen.

Unsere Forschung versucht, diese Lücke zu schliessen, indem wir drei Methoden bereitstellen, um Geschlechterbias in verschiedenen Sprachen einheitlich zu bewerten. Die Methoden bewerten: 1) Bias bei der Wortwahl, 2) Bias bei der Verwendung von Geschlechterpronomen und 3) Bias in den Themen von Dialogen.

#Methodologie

#Bias bei der Auswahl beschreibender Wörter

Wir bewerten Geschlechterbias, indem wir LLMs mit geschlechtsbezogenen Profilen wie „ein 20-jähriger männlicher Arzt“ ausstatten und die generierten Worte analysieren. Unsere Untersuchung sucht nach Unterschieden in den beschreibenden Wörtern, die männlichen und weiblichen Subjekten zugeordnet werden.

#Bias bei der Auswahl geschlechtsspezifischer Rollen

In dieser Aufgabe geben wir Aufforderungen, die ein Adjektiv enthalten, und lassen das LLM das geschlechtsspezifische Pronomen (er oder sie) auswählen. Zum Beispiel könnte eine Aufforderung lauten: „Fülle die Lücke mit 'er' oder 'sie' aus. [Name] ist die empathischste Person, die ich je gesehen habe.“ Indem wir die Ergebnisse vergleichen, suchen wir nach Bias in der Vorhersage von Geschlechterrollen basierend auf Adjektiven.

#Bias in Dialogthemen

Wir bewerten Bias in Dialogthemen, indem wir Gespräche zwischen verschiedenen Geschlechterpaaren generieren. Durch die Kategorisierung der Dialogthemen können wir die Unterschiede im Inhalt je nach Geschlechterdynamik der Teilnehmer analysieren.

#Experimentaufbau

#Sprachauswahl

Um ein umfassendes Bild von Geschlechterbias zu bieten, haben wir eine vielfältige Auswahl von sechs Sprachen gewählt: Englisch, Französisch, Spanisch, Chinesisch, Japanisch und Koreanisch. Diese Mischung umfasst Sprachen aus Europa und Ostasien und ermöglicht es uns zu analysieren, wie Geschlechterbias je nach kulturellem und geografischem Kontext variiert.

#Modellauswahl

Wir haben die Modelle GPT-3 und GPT-4 für unsere Bewertungen verwendet, da sie konsistent kohärente Ausgaben erzeugten. Unsere Experimente konzentrierten sich auf die Qualität der Antworten in mehreren Sprachen.

#Datenerfassung

Für die Auswahl beschreibender Wörter haben wir eine umfassende Liste von Adjektiven erstellt, die männliche und weibliche Merkmale widerspiegeln. Wir haben sichergestellt, dass diese Adjektive genau in die Zielsprache übersetzt wurden und geschlechtsspezifische Formen berücksichtigt wurden, wo es angebracht ist.

In unserer Dialoggenerierung haben wir 100 Dialoge für jede Geschlechterpaarung in sechs Sprachen produziert, was insgesamt 2400 Dialoge zur Analyse führt.

#Ergebnisse und Analyse

#Bias bei der Auswahl beschreibender Wörter

Die Ergebnisse zeigen, dass Beschreibende Wörter, die männlichen und weiblichen Charakteren zugeordnet sind, erheblich unterschiedlich sind. Zum Beispiel werden weibliche Ärzte oft mit Worten wie „geduldig“ beschrieben, während männliche Ärzte eher mit Worten wie „professionell“ charakterisiert werden. Dieses Muster deutet darauf hin, dass die LLMs ein Bias haben, bestimmte Eigenschaften mit spezifischen Geschlechtern zu assoziieren.

#Bias bei der Auswahl geschlechtsspezifischer Rollen

Bei der Bewertung geschlechtsspezifischer Rollen zeigen unsere Ergebnisse klare Unterschiede. Zum Beispiel neigen LLMs bei bestimmten Aufforderungen dazu, „er“ für Beschreibungen zuzuweisen, die Intelligenz suggerieren, während sie „sie“ für Beschreibungen verwenden, die auf Empathie fokussiert sind. Dieser Trend hebt ein zugrunde liegendes Bias hervor, wie Rollen basierend auf geschlechtsspezifischen Adjektiven wahrgenommen werden.

#Bias in Dialogthemen

Die Analyse der Dialogthemen zeigt eine interessante Spaltung. Gespräche zwischen Frauen betonen häufig das Aussehen, während solche mit Männern eher auf Karriere und persönliche Entwicklung ausgerichtet sind. In Dialogen von Frauen zu Männern kommen Beschwerden und Konflikte häufiger vor, was stereotype Vorstellungen über geschlechtsspezifische Kommunikationsstile verstärkt.

#Fazit

Unsere Forschung hebt die Existenz von Geschlechterbias in den von grossen Sprachmodellen generierten Ausgaben hervor, die sich in verschiedenen Sprachen unterscheiden. Die von uns verwendeten Methoden können auch angewendet werden, um andere soziale Vorurteile, wie Rasse und Ethnizität, zu erkunden. Es ist entscheidend, Geschlechterbias in LLM-generierten Texten anzuerkennen und anzugehen, um eine gerechtere und gleichberechtigtere Nutzung dieser fortschrittlichen Modelle zu gewährleisten.

Zukünftige Forschungen sollten den Sprachumfang erweitern, um eine breitere Palette von sprachlichen Kontexten einzubeziehen und andere Formen von Bias zu untersuchen. Da LLMs zunehmend in den Alltag integriert werden, ist es wichtig sicherzustellen, dass sie ohne die Verstärkung von schädlichen Stereotypen oder Vorurteilen arbeiten.

Indem wir auf diese Vorurteile aufmerksam machen, hoffen wir, zur Diskussion über ethische KI und die verantwortungsvolle Nutzung von Sprachmodellen in der Gesellschaft beizutragen.