# コンピューターサイエンス # 計算と言語 # 人工知能 # コンピュータと社会

エージェンシー表現における言語バイアスの調査

この研究は、さまざまなテキストにおける性別や人種に影響を与える言語バイアスを分析してるよ。

2025-08-19T00:46:18+00:00 ― 1 分で読む

言語代理性の重要性
研究の目的
方法論
データセットの作成
モデルのトレーニング
結果
人間が書いたテキストの言語偏見
LLM生成テキストの言語偏見
性別と人種の偏見
交差的偏見
意義
結論
オリジナルソース
参照リンク

言語は私たちが異なる人々のグループをどう認識するかに重要な役割を果たしてるよ。よく、テキストで人々がどう描写されるかは、彼らの人種や性別に基づく社会的偏見を反映してるんだ。特に、言語の代理性の表現にそれが顕著に現れる。言語代理性は、テキストで人々が能動的か受動的に描かれるかを指すんだ。例えば、白人男性はリーダーや達成者として描かれることが多いけど、黒人女性はサポートや手助けをする存在として見られがち。

この文書は、人種や性別に関する言語選択の偏見を探るもので、伝記や教授のレビュー、推薦状など、さまざまな文章でこれらの偏見がどう現れるかを強調することを目指してる。

言語代理性の重要性

言語代理性は、書き物でどのように異なるグループが表現されるかを明らかにするから重要なんだ。言語の代理性は、誰かが自発的に行動してリードしていると見なされるのか、誰かをサポートして助けていると見なされるのかを示すことができる。この区別は、社会で人々がどう見られるかに影響を与えるから、本当に大事だよ。

例えば、白人男性は権威やリーダーシップを示す言葉で描かれることが多いけど、特に人種的マイノリティに属する女性は、ケアやサポートに関連する言葉で描かれることが多い。この言語の違いは、社会のステレオタイプや偏見を強化する原因になるかもしれない。

研究の目的

この研究の目的は、文のレベルで言語代理性を測ることなんだ。つまり、さまざまなテキストで人々がどう描かれているか、またその描写が性別や人種によってどう変わるかを詳しく見ることを意味してる。新しいデータセットが作成されて、言語代理性を正確に分類できるモデルのトレーニングに使われるんだ。

研究では、人間が書いたテキストと、大きな言語モデルが生成したテキストの偏見を探る。これらの偏見を理解することで、社会的文脈での言語技術の使い方をより良くできるんだ。

方法論

データセットの作成

言語代理性の偏見を分析するために、エージェンティック、コミュナル、ニュートラルのいずれかにラベル付けされた文を含むデータセットを作ったよ。エージェンティックな文は、個人を能動的かつリーダーとして示すもので、コミュナルな文はサポートや助けをする姿を描写してる。ニュートラルな文はどちらのカテゴリにも入らない。

データセットは、自動ツールと人間の入力を組み合わせて正確性を確保しつつ開発された。まず、既存の伝記を文に処理して、その後、言語モデルを使ってエージェンティックかコミュナルのカテゴリに合うようにこれらの文の言い換えバージョンを作った。最後に、人間のアノテーターがこれらの文を再評価して、正しいラベル付けがされていることを確認したよ。

モデルのトレーニング

データセットが準備できたら、それを使ってモデルのトレーニングをした。2種類のモデルを使って、学習したパターンに基づいて文を分類する識別モデルと、入力データに基づいて新しいテキストを生成する生成モデルがあるんだ。BERTやRoBERTaなどのさまざまな人気モデルを使って、言語代理性の特定のパフォーマンスを評価したよ。

結果

人間が書いたテキストの言語偏見

分析の結果、人間が書いたテキストには目立つ言語代理性の偏見があることがわかったよ。例えば、男性の描写は女性のそれよりもエージェンティックである傾向がある。これは、社会が男性と女性を異なる役割でどう見ているかと一致している。牧師、建築家、ソフトウェアエンジニアなどの職業は、伝記において特に強い性別の偏見を示している。

さらに、研究では、黒人に関するテキストは、エージェンティックな言語よりもコミュナルな言語が多く使われていることがわかった。これは、黒人に対する社会的な認識がリーダーシップの役割よりもサポートの役割に合致している可能性を示唆してる。

LLM生成テキストの言語偏見

言語モデルが生成したテキストを調べると、さらに顕著な偏見が見つかった。LLM生成のテキストは、人間が書いたテキストよりも高いレベルの言語代理性の偏見を示してた。例えば、白人男性の描写はエージェンティックであることが多いけど、黒人女性はよりコミュナルな視点で描かれることが多い。

これらの結果は、社会的文脈でLLMsを使用する際に、それらが持つ可能性のある偏見を慎重に検討する必要があることを示唆しているよ。

性別と人種の偏見

調査では、特にマイノリティグループをターゲットにした重要な言語代理性の偏見も見つかった。例えば、分析されたテキストの中で黒人女性は、他の人口統計グループに比べて最も低い代理性を示した。これは、社会が黒人女性を主にサポーティブなレンズで見る傾向があることを示唆してるんだ。

さまざまな人種的背景を持つ個人の伝記では、顕著な不一致が見られた。テキストは、アジア人や白人の個人を黒人の仲間よりもエージェンティックに描写している。

交差的偏見

研究の独特な点は、交差的偏見に焦点を当てているところで、重なり合うアイデンティティが言語代理性にどう影響するかを考慮している。結果は、人種的マイノリティと性別的マイノリティの両方に属する個人、例えば黒人女性が最も大きな言語代理性の偏見に直面していることを示した。

例えば、分析の結果、アジア人男性の伝記は高い代理性の言語で描かれ、一方で黒人女性の伝記は最も低い代理性を示していた。これは、言語使用における人種と性別の偏見の重層的な影響を反映しているんだ。

意義

この研究の結果は、さまざまな文脈での言語の使い方に重要な影響を及ぼすよ。特定のグループが限られた方法で描かれることを認識することで、特にプロフェッショナルな設定での書き物でより慎重な言語使用の必要性が浮き彫りになってるんだ。

例えば、アカデミアでは、教授のレビューでの描写が彼らの効果や権威に関する認識に影響を与えることがある。特にマイノリティ背景を持つ女性教授は、彼女たちをコミュナルに描写する言語が使われることで、好意的な評価を受けにくいかもしれない。

さらに、この研究で得られた見識は言語モデルのトレーニング方法にも影響を与えるかもしれない。トレーニングデータにおける偏見に対処することで、これらのモデルがテキストを生成する際に、既存のステレオタイプを助長しないように改善が可能になるよ。

結論

この研究は、テキストにおける言語代理性を調べて、性別や人種に基づく偏見を明らかにする重要性を強調するものだ。言語代理性を測るための分類データセットを開発してモデルをトレーニングすることで、人々が書き物でどう表現されるかに関する重要な洞察が得られた。

結果は、人間が書いたテキストと機械生成テキストの両方に偏見が広がっていて、マイノリティグループがしばしばエージェンティックでない方法で描かれることを示している。結果は、特に個人に関する認識や意思決定に影響を与える文脈での言語使用にもっと注意を払う必要があることを呼びかけているよ。

将来的には、さまざまな人口統計を広く扱い、さまざまなテキストの形式を含む研究を拡大することで、言語代理性の偏見がさまざまなグループにどのように影響するかについてのより大きな明確さが得られるかもしれない。今のところ、この研究は、言語における根底にある偏見を理解し対処するための基盤として機能していて、個人が書き物でどう表現されるかについて、より包括的なアプローチを促進しているんだ。

オリジナルソース

タイトル: White Men Lead, Black Women Help? Benchmarking Language Agency Social Biases in LLMs

概要: Social biases can manifest in language agency. While several studies approached agency-related bias in human-written language, very limited research has investigated such biases in Large Language Model (LLM)-generated content. In addition, previous works often rely on string-matching techniques to identify agentic and communal words within texts, which fall short of accurately classifying language agency. We introduce the novel Language Agency Bias Evaluation (LABE) benchmark, which comprehensively evaluates biases in LLMs by analyzing agency levels attributed to different demographic groups in model generations. LABE leverages 5,400 template-based prompts, an accurate agency classifier, and corresponding bias metrics to test for gender, racial, and intersectional language agency biases in LLMs on 3 text generation tasks: biographies, professor reviews, and reference letters. We also contribute the Language Agency Classification (LAC) dataset, consisting of 3,724 agentic and communal sentences. Using LABE, we unveil language agency social biases in 3 recent LLMs: ChatGPT, Llama3, and Mistral. We observe that: (1) LLM generations tend to demonstrate greater gender bias than human-written texts; (2) Models demonstrate remarkably higher levels of intersectional bias than the other bias aspects. Those who are at the intersection of gender and racial minority groups--such as Black females--are consistently described by texts with lower levels of agency, aligning with real-world social inequalities; (3) Among the 3 LLMs investigated, Llama3 demonstrates the greatest overall bias; (4) Not only does prompt-based mitigation fail to resolve language agency bias in LLMs, but it frequently leads to the exacerbation of biases in generated texts.