Vorurteile in KI angehen: Eine neuseeländische Perspektive

Jüngste Fortschritte in der künstlichen Intelligenz (KI), besonders bei grossen Sprachmodellen (LLMs), haben Vorteile in verschiedenen Bereichen gezeigt. Allerdings können diese Modelle Vorurteile mitbringen, die Fairness und Gerechtigkeit beeinflussen, insbesondere für Gruppen, die nicht gut repräsentiert sind. Das wirft Fragen darüber auf, wie KI mit verschiedenen gesellschaftlichen Gruppen interagiert. Das Interesse an der Erforschung dieser Vorurteile wächst, aber die meisten Studien konzentrieren sich auf bekannte Demografien wie weisse und schwarze Bevölkerungsgruppen in den USA sowie auf männliche und weibliche Klassifizierungen.

Es besteht ein klarer Bedarf an mehr Forschung zu Vorurteilen in weniger repräsentierten Gemeinschaften. Solche Gemeinschaften haben möglicherweise nicht genug Daten oder technologische Ressourcen, um in vielen Studien berücksichtigt zu werden. Um diese Lücke zu schliessen, haben wir uns vorgenommen, Datensätze speziell für Neuseeländer zu erstellen, ein Land mit einer kleinen, aber vielfältigen Bevölkerung. Dieser Artikel beschreibt unsere Erfahrungen und Herausforderungen beim Sammeln und Analysieren von Daten, um Vorurteile in der KI hinsichtlich unterrepräsentierter Gruppen zu messen.

#Vorurteile in KI verstehen

Vorurteile entstehen, wenn die Leistung eines Modells bei verschiedenen Gruppen von Menschen, die durch Merkmale wie Geschlecht, Einkommen oder Ethnizität identifiziert werden, inkonsistent ist. In diesem Artikel konzentrieren wir uns hauptsächlich auf ethnische Unterschiede. KI-Modelle, einschliesslich LLMs, spiegeln oft historische Daten wider, die möglicherweise soziale Ungleichheiten beinhalten. Diese Modelle können unfairen Umgang in ihren Vorhersagen perpetuieren, was potenziell negative Auswirkungen auf bestimmte Gruppen haben kann.

#Der Bedarf an Datensätzen

Um Vorurteile effektiv zu untersuchen und zu messen, brauchen wir annotierte Datensätze – im Grunde genommen beschriftete Informationen, die uns helfen, zu verstehen, wie voreingenommen KI sein könnte. Allerdings repräsentieren die vorhandenen Datensätze hauptsächlich amerikanische Demografien. Daher ist es entscheidend, annotierte Datensätze für die Bevölkerung Neuseelands zu erstellen. Neuseeland hat etwa 5 Millionen Einwohner, darunter etwa 17% indigene Māori und rund 70% neuseeländische Europäer. Beide Gruppen sprechen Englisch, und Māori wird auch in verschiedenen Kontexten gesprochen. Zwischen diesen Gruppen gibt es erhebliche soziale Unterschiede.

#Herausforderungen bei der Datenannotation

Das Erstellen von Datensätzen beinhaltet mehrere Schritte: Text generieren, Wege definieren, um Vorurteile zu messen, und diesen Text durch unabhängige Prüfer kennzeichnen. Unser Projekt verwendete spezifische Vorlagen, um Texte über verschiedene neuseeländische Demografien zu erstellen. Wir nutzten diese Vorlagen, um ein Sprachmodell dazu zu bringen, relevanten Text zu generieren.

Nach der Textgenerierung haben wir ihn mit Hilfe von drei Annotatoren manuell gekennzeichnet. Allerdings sind wir bei diesem Prozess auf mehrere Herausforderungen gestossen. Nur 35% der generierten Texte erhielten von allen Annotatoren Zustimmung zu ihren Labels, was zeigt, dass selbst Personen mit ähnlichem Hintergrund unterschiedliche Meinungen zu Vorurteilen haben. Qualifizierte Annotatoren in einem kleineren Land wie Neuseeland zu finden, ist schwierig, ebenso wie sicherzustellen, dass sie Vorurteile konsistent interpretieren.

#Vorurteile bewerten

Um Vorurteile zu bewerten, brauchen wir Techniken, um Unterschiede in der Leistung des Modells mit verschiedenen demografischen Gruppen zu messen. Wir haben Sentiment-Scores, sprachliche Schlussfolgerungsmasse und Toxizitätserkennung als Möglichkeiten zur Bewertung von Vorurteilen im generierten Text betrachtet.

Für unsere Analyse haben wir Texte basierend auf ihrem Bezug zu verschiedenen ethnischen Gruppen gekennzeichnet. Das zeigt nicht nur, ob die Sprache positiv oder negativ ist, sondern auch, wie gesellschaftliche Wahrnehmungen im generierten Text widergespiegelt werden.

#Ergebnisse des Annotierungsprozesses

Aus den generierten Texten haben wir signifikante Unterschiede zwischen den Annotatoren festgestellt. Diese Inkonsistenz zeigt, dass Vorurteil Labels stark variieren können, selbst unter einer ähnlichen Gruppe von Annotatoren. In kleineren Gemeinschaften können die Einflüsse einzelner Annotatoren die Vorurteile in der Analyse verstärken.

Konkret haben wir die Berufe betrachtet, die mit verschiedenen Demografien in unseren generierten Texten in Verbindung gebracht werden. Während es einige Überschneidungen gab, stellten wir einen Mangel an Berufen wie Strafverfolgung in den Darstellungen der Māori- oder Pazifikgemeinschaft fest.

#Ethische Überlegungen

Der Umgang mit sensiblen Daten erfordert sorgfältige ethische Überlegungen. Das Potenzial für den Missbrauch von Ergebnissen und die inhärenten Risiken, bestimmte Themen zu diskutieren, müssen anerkannt werden. Trotz unserer Bemühungen, sicherzustellen, dass unsere Forschung verantwortungsvoll ist, gibt es immer Chancen für Fehlinterpretationen. Zukünftige Forscher sollten sich dieser Herausforderungen und des potenziellen Schadens in ihrer Arbeit bewusst sein.

#Empfehlungen für zukünftige Forschung

Basierend auf unseren Erfahrungen empfehlen wir mehrere Ansätze zur Verbesserung des Prozesses der Annotierung von Datensätzen für Vorurteile. Erstens schlagen wir eine gründliche Überprüfung vor, wie Annotatoren ausgewählt und geschult werden. Eine erste Bewertung der Perspektiven der Annotatoren könnte helfen, die Variationen in ihren Urteilen zu verstehen.

Diversity innerhalb der Annotatorenteams zu fördern, ist ebenfalls wichtig. Wenn möglich, können Mitglieder aus Minderheitengruppen wertvolle Einblicke geben und zu einem besseren Verständnis der Vorurteile in den Texten führen. Darüber hinaus sind klare Richtlinien und Diskussionen unter den Annotatoren entscheidend, um sicherzustellen, dass sie in ihrem Verständnis von Vorurteilen übereinstimmen.

Ausserdem könnte die Etablierung robuster, standardisierter Metriken zur Messung von Vorurteilen der Forschungs community helfen. Momentan sind viele Werkzeuge, die zur Definition und Messung von Vorurteilen verwendet werden, subjektiv. Die Suche nach konsistenten Definitionen und Bewertungen sollte weiterhin eine Priorität bleiben.

#Fazit

Unsere Forschung zur Erstellung annotierter Vorurteil-Datensätze für die Demografie Neuseelands hebt den Bedarf an einem tiefergehenden Verständnis von Vorurteilen in KI hervor, insbesondere für unterrepräsentierte Gesellschaften. Während es eine wachsende Zahl an Arbeiten gibt, die sich mit Vorurteilen in KI beschäftigen, wird wenig Aufmerksamkeit auf Gemeinschaften wie unsere gelegt. Die Lektionen, die wir aus unseren Herausforderungen gelernt haben, können zukünftige Bemühungen unterstützen, Vorurteile durch umfassendere Datensätze zu bekämpfen, die die Vielfalt verschiedener Bevölkerungen widerspiegeln.

Die Erkenntnisse aus diesem Prozess werden Forschern, die an ähnlichen Themen in unterrepräsentierten Gemeinschaften arbeiten, zugutekommen und das Bewusstsein für die Bedeutung der Berücksichtigung der breiteren Implikationen von KI-Technologie schärfen. Vorurteile in der KI anzusprechen, ist entscheidend, um eine fairere und gerechtere Zukunft zu schaffen.