Untersuchung von Vorurteilen in grossen Sprachmodellen

Grosse Sprachmodelle (LLMs) wie GPT-3.5 und GPT-4 könnten eine Vorliebe für Inhalte zeigen, die sie selbst erstellen, was zu einer unfairen Behandlung von von Menschen geschriebenen Inhalten führen könnte. Diese Studie möchte herausfinden, ob LLMs ihre eigenen Ausgaben den menschlichen vorziehen und welche Auswirkungen das auf die Wirtschaft und den Arbeitsmarkt haben könnte.

#Hintergrund

Forschung in Wirtschaft und Soziologie zeigt, dass Vorurteile gegen bestimmte Gruppen von Menschen entstehen können, besonders in Märkten und der Wissenschaft. Dieses Papier betrachtet eine neue Form von Vorurteilen, bei der LLMs unabsichtlich ihren generierten Text über den von Menschen bevorzugen könnten. Wenn LLMs bei wichtigen Entscheidungen beteiligt sind, könnte das dazu führen, dass menschliche Arbeiter beiseite gedrängt werden.

#Versuchsdesign

Um nach Vorurteilen zu suchen, haben wir zwei Experimente durchgeführt. In diesen Experimenten mussten LLMs zwischen Waren und akademischen Arbeiten wählen, die entweder von Menschen oder von LLMs beschrieben wurden. Wir wollten sehen, ob LLMs eine Vorliebe für von LLMs generierte Inhalte hatten. Das Design unserer Experimente wurde von traditionellen Studien inspiriert, die Vorurteile basierend auf Identität untersuchen.

#Wie wir getestet haben

In unserem ersten Experiment wählten LLMs zwischen zwei Konsumgütern, wobei eines von einem Menschen und das andere von einem LLM beschrieben wurde. Das zweite Experiment konzentrierte sich auf akademische Arbeiten. In beiden Fällen verwendeten wir identische Bedingungen, um es fair zu halten.

Wir haben auch überlegt, ob das Schreibniveau der Menschen im Vergleich zu LLMs die Ergebnisse beeinflussen könnte. Um dies zu steuern, baten wir menschliche Forschungsassistenten zu beurteilen, welche Beschreibungen sie besser fanden. Wir haben ein Vorurteil bei LLMs nur dann festgestellt, wenn sie von LLM vorgestellte Gegenstände mehr bevorzugten als menschliche Präsentatoren.

#Ergebnisse

Unsere Ergebnisse zeigen, dass LLMs oft Texte bevorzugten, die sie selbst generiert haben, gegenüber menschlich erstellten Texten. Das könnte auf ein Vorurteil gegen menschlich geschriebene Inhalte hinweisen. Das Vorurteil führte zu einer Situation, in der LLMs möglicherweise eine Vorliebe für ihren Schreibstil zeigen, was zu einer unfairen Behandlung von Menschen führen kann.

#Auswirkungen auf die Wirtschaft

Wenn LLMs wichtige Entscheidungen auf dem Markt treffen, könnten sie von LLM erstellten Inhalten einen unfairen Vorteil geben. Das könnte zu ernsthaften Herausforderungen für menschliche Arbeiter führen, insbesondere wenn der Zugang zu LLMs ein Faktor bei Bewerbungen wird. Es besteht das Risiko, dass menschliche Arbeiter aufgrund dieser Vorurteile benachteiligt werden.

#Erstes-Item-Vorurteil

Wir haben auch ein Erstes-Item-Vorurteil beobachtet, bei dem LLMs dazu neigten, die erste Option auszuwählen, die sie sahen, wenn sie Entscheidungen trafen. Dies war besonders stark in unseren Produktexperimenten, was bedeutet, dass wenn LLMs die erste Option bevorzugen, es möglicherweise nicht klar ist, wie stark ihre Vorliebe für LLM-generierte Inhalte wirklich ist.

#Menschliche Präferenzen

Um ein besseres Gefühl dafür zu bekommen, wie Menschen zu LLM-generierten Inhalten stehen, haben wir menschliche Gutachter gebeten, zwischen menschlichen und LLM-Beschreibungen zu wählen. Insgesamt bevorzugten Menschen menschlich geschriebene Produktbeschreibungen, neigten aber bei akademischen Arbeiten eher zu von LLMs generierten Abstracts.

#Fazit

Unsere Studie zeigt, dass LLMs möglicherweise ein implizites Vorurteil gegen menschlich generierte Inhalte haben. Das könnte Einfluss darauf nehmen, wie Entscheidungen in Märkten und Institutionen getroffen werden. Da LLMs zunehmend in den Arbeitsmarkt integriert werden, ist es wichtig, darüber nachzudenken, wie diese Vorurteile Nachteile für menschliche Arbeiter schaffen können. Weitere Untersuchungen sind notwendig, um diese Probleme anzugehen und Wege zu finden, um Fairness in zukünftigen wirtschaftlichen Szenarien zu gewährleisten, in denen LLMs eine bedeutende Rolle spielen.