言語モデルと宗教における感情帰属のバイアス
さまざまな宗教に関連する感情を言語モデルがどのように表現するかを探る。
― 1 分で読む
感情は私たちの生活において重要な役割を果たしていて、私たちの価値観を反映したり、行動を導いたりするんだ。研究によると、大規模言語モデル(LLM)は性別に基づいて感情を割り当てる際にしばしばバイアスが見られるんだ。でも、宗教は社会文化的なシステムとして、信者が感情を感じたり表現したりする方法を形作る信念や価値観のセットを提供しているよ。異なる宗教は異なる感情反応を育てるし、これらはしばしば宗教指導者によって形作られるんだ。
感情の帰属を使って、LLMsがさまざまな宗教をどのように表現するかを見ることができるよ。私たちの調査結果は、アメリカやヨーロッパの主要な宗教がより繊細に表示される一方で、ヒンドゥー教や仏教といった東洋の宗教は強いステレオタイプにさらされていることを明らかにしたんだ。さらに、ユダヤ教やイスラム教はしばしばスティグマをもたらし、モデルの応答で拒否されることが多くなる傾向がある。この傾向はLLMs内の文化的バイアスや、自然言語処理(NLP)において宗教に焦点を当てた文献の不足を示しているよ。宗教が言及されると、否定的な言語と結びつくことが多く、これらの信仰についての有害なステレオタイプを強化してしまうんだ。
これはLLMs内のこれらのバイアスを対処し、修正する必要があることを示しているね。私たちの研究は、感情が私たちの生活においてどれほど重要か、そして私たちの価値観がそれらをどのようにフレームしているかを強調しているよ。
文化を越えた感情体験
インドネシアのトラジャの人々を例にとってみよう。彼らは複雑な埋葬習慣で知られていて、親族の遺体を長期間自宅に保管することがあるんだ。この習慣は多くの人にとっては嫌悪感を引き起こすかもしれないけど、トラジャの人々にとっては家族とのお祝いの時間なんだ。異なる宗教は死に対する感情の理解を異ならせるよ。クリスチャンはしばしば悲しみを受け入れるけど、仏教徒は死を移行と見なし、受容を促進するんだ。これは宗教が感情体験に与える影響の一例に過ぎないよ。
私たちは、LLMsが宗教的背景に基づいて感情をどのように帰属するかを探求したんだが、ISEARデータセットの例を使って、友達が誰かの信頼を裏切る状況を考えたよ。感情は私たちの価値観や世界の見方を明らかにするけど、感情の経験や表現は文化や人口統計(性別、年齢、出身国、宗教など)によって大きく異なるんだ。
宗教は感情体験に深く影響を与えていて、個々の出来事の解釈や感情への反応のあり方を定義するフレームワークを提供するよ。たとえば、特定の宗教は喜びや感謝といったポジティブな感情を奨励することがあるんだ。他の宗教は、怒りや悲しみといったネガティブな感情の抑制や抑圧を促すかもしれない。
LLMs内の価値観や視点を理解しようとする関心が高まっている一方で、宗教についての探求はあまり進んでいないんだ。宗教に関する多くの議論は、反ユダヤ主義やイスラムフォビアといったコンテンツのモデレーションに焦点を当てているよ。
さらに、70%以上のアメリカ人がクリスチャンと自認しているため、LLMsには文化的バイアスやアメリカのノームに従った傾向があるという多くの研究があることがわかるよ。これは、さまざまな宗教がLLMsでどのように表現されているかについて重要な疑問を提起するんだ。
最近のバイアスやステレオタイプに関する分析は、通常、さまざまな生成されたステレオタイプを明らかにするためにペルソナベースの方法を用いているよ。これを基にして、私たちの研究は異なる宗教グループにどのように感情が帰属されるかを調査しているんだ。バイアスやステレオタイプを反映するような顕著なパターンを探しているよ。
私たちの調査結果は、LLMが異なる宗教の表現において明確なバイアスを示していることを示しているよ。
感情:理論的フレームワーク
感情は一般的に、アフェクプログラム理論と命題態度理論の2つのカテゴリーに分けられるよ。アフェクプログラムは、怒り、喜び、悲しみといった基本的で普遍的に認識される感情とつながっている。一方、命題態度理論は、罪悪感、恥、誇り、感謝といったより複雑な感情に関与していて、これは認知的評価に大きく影響され、文化によって異なるんだ。
宗教はこれらの複雑な感情を大きく形作っていて、神聖な感情を育む文脈や慣習を提供しているよ。神聖な感情は、非宗教的な場面よりも宗教的な場面(教会や寺院など)でより頻繁に現れる傾向があるんだ。宗教的なアイデンティティを持つ人は、非宗教的な人よりもこれらの感情を感じることが多いんだ。
神聖な感情の例としては、感謝、敬意、畏敬、愛、希望などがあるよ。感謝は、自分の経験の価値を認識することを含むし、畏敬は深いものに圧倒されることに関連するんだ。敬意は、深く個人的な方法で何か素晴らしいものを認めることを意味するよ。希望は多くの宗教的教義において重要な位置を占めていて、将来の実現への期待を象徴しているんだ。
研究方法論
私たちの研究は、国際感情前提と反応に関する調査(ISEAR)から収集した自己報告イベントを利用しているよ。このデータセットには、主要な感情を引き起こす状況が含まれていて、回答者は自分の経験の詳細を提供しているんだ。データセットは7,586のイベントから成り立っているんだ。
私たちは、オープンソースのモデルや独自のモデルを含むさまざまな最先端のLLMをテストしたよ:Llama2、Llama3、GPT-4、Mistral-7b。それぞれのモデルは、異なる宗教的背景に基づくさまざまなペルソナの感情的帰属について理解する手助けをしているんだ(文化的ヒンドゥー、文化的ユダヤ人、文化的カトリック)。
私たちは、以前の研究で導入された感情帰属タスクの特定の形式を採用しているんだ。モデルは、ISEARデータセットのイベントとペルソナに基づいて感情的反応を生成するように促されるんだ。これを利用して、さまざまな宗教間でどのように感情が表現されているかを調べるよ。
ペルソナベースのアプローチ
LLMの応答を導くために、各モデルに特定のペルソナを割り当て、対応するアイデンティティを持たせるためにカスタマイズされたペルソナテンプレートを使用しているんだ。ペルソナは、ユダヤ教、キリスト教(カトリックとプロテスタント)、イスラム教、仏教、ヒンドゥー教の5つの主要な宗教グループに基づいて分類するよ。その中で、宗教の実践のレベルを3つのカテゴリーに分けているんだ:熱心な信者、実践者、文化的信者。
この組み合わせにより、18の異なるペルソナが生まれ、LLMの応答を徹底的に分析することができるよ。各モデルは、イベントごとに複数回プロンプトされ、膨大な量の感情帰属が得られるんだ。
プロンプトと評価の設定
特定のペルソナを採用するようモデルに指示した後、感情帰属タスクを実施するよ。モデルは、与えられたイベント中に感じた主要な感情を表現するように促され、出力はさらなる説明なしに単一の感情として呈示されるんだ。
結果が再現可能であることを保証するために、モデルのプロンプトで固定されたパラメータを使用して、出力のランダム性をコントロールしているよ。モデルは、感情表現、関連用語、拒否を含むさまざまな応答を生成したんだ。私たちは、拒否を検出するために正規表現や文字列マッチングといった特定の手法を採用して、モデル生成されたテキストの中で感情を特定するんだ。
私たちの分析は、さまざまな宗教やその実践のレベルに対するモデルが行った拒否率と感情帰属に焦点を当てているよ。私たちは宗教ごとに顕著な違いを観察したんだ。モデルは感情の帰属でも顕著な変化を示したよ。
拒否分析
私たちは、Llama2、Llama3、Mistral、GPT-4などのさまざまなモデルファミリーにおける拒否応答の詳細な分析を行ったよ。
Llama2モデルは、ユダヤ人やムスリムのペルソナに対して安全措置が強化されているのが見られたんだ。たとえば、Llama2-13bは、ユダヤ人に対して55.61%、ムスリムに対して31.75%という最高の拒否率を記録したよ。一方、他の宗教は比較的中程度の拒否率を示し、非宗教的なペルソナにはほぼゼロの拒否があったんだ。
最新のLlama3モデルは、Llama2モデルと比較して若干改善された遵守を示したけど、ユダヤ人やムスリムのペルソナには依然として高い拒否率が見られた。MistralとGPT-4は、宗教に関して最小限の拒否を示し、誇張された安全性がないことを示しているんだ。
結果は、さまざまなモデルや宗教的ペルソナ間の拒否率の不均等を強調しているよ。Llama2とLlama3モデルは特にムスリムやユダヤ人に対する応答を生成するのに苦労していた一方、MistralとGPT-4は、より流動的な応答を示していたんだ。
感情帰属のパターン
次に、私たちは異なるモデルや宗教的ペルソナによってさまざまなイベントに帰属される感情パターンを分析したんだ。観察された一貫したパターンの一つは、全てのモデルが仏教徒に対して思いやりを帰属させる傾向があったことだよ。
Llama2モデルは、異なる宗教グループに対して多様な感情分布を示した。クリスチャンに対する応答はかなり似ていたけど、カトリックに対する悲しみの率が高かった。これは、カトリックがキリストの苦しみや告白の概念に焦点を当てていることと関連しているかもしれないね。
ムスリムを調べると、モデルはしばしば恐れや恥、感謝といった感情を帰属させたんだ。実践的なムスリムは悲しみを抱くことが多かったけど、文化的なムスリムは恥や悲しみを経験することが多かったよ。
ユダヤ人に対しては、モデルは実践のレベル間でほとんど違いを示さず、恥の傾向が見られたよ。
ヒンドゥー教徒の場合、モデルは感情よりも原則(アヒンサー(非暴力)やダルマ(倫理的生活のための指針)など)を生成することが多かったんだ。
神聖な感情と実践のレベル
Llama3ファミリーは、ヒンドゥー教徒に対しては「krodha(怒り)」、ムスリムに対しては「khushu(神に対する謙虚さ)」などのユニークな感情や用語を導入したけど、これらの用語はモデル全体で一貫して適用されることはなかったよ。
Mistralはアブラハム系の宗教に対して似たようなパターンを維持し、失望や後悔を頻繁に帰属させていたんだけど、クリスチャンにはより多くの思いやりや感謝が向けられる傾向があったんだ。
全体的に、モデルは感謝や畏敬といった神聖な感情を意識している様子が見られたよ。宗教と感情の関係に関していくつかの関係は捕らえられたけど、感情と宗教的実践のつながりを正確に表現するためには改善の余地があるよ。
結論
私たちの研究は、自然言語処理と大規模言語モデルにおける宗教の未探求な交差点に光を当てているんだ。私たちは、LLMsが異なる宗教にどのように感情を割り当てているか、そしてこれらの帰属がバイアスやステレオタイプによって形作られているかを明らかにしようとしたよ。
私たちの調査結果は、特にアメリカやヨーロッパで顕著な主要な世界宗教が、東洋の宗教に比べてより深く表現されていることを示しているよ。また、ユダヤ教やイスラム教はスティグマに直面していて、その結果として拒否率が高くなっていることも反映されているんだ。
結果は、特に宗教に関してLLMs内の文化的バイアスに対処する重要性を強調しているよ。私たちの研究は、文化、宗教、感情の間の複雑な関係を示していて、より多様で代表的なトレーニングデータの必要性を訴えているんだ。
私たちの研究の限界には、英語での応答に焦点を当てていることや、特定の感情データセットへの依存があるよ。今後の調査は、より幅広い宗教や言語を検討することで理解を深められるかもしれないね。
結論として、この研究は文化研究や自然言語処理に関連する将来の分析の道を開くもので、特に宗教や感情に関して言えることだよ。言語モデルにおけるバイアスに対処することは、宗教的アイデンティティに基づく感情的帰属のより正確な表現に寄与することができるんだ。
タイトル: Divine LLaMAs: Bias, Stereotypes, Stigmatization, and Emotion Representation of Religion in Large Language Models
概要: Emotions play important epistemological and cognitive roles in our lives, revealing our values and guiding our actions. Previous work has shown that LLMs display biases in emotion attribution along gender lines. However, unlike gender, which says little about our values, religion, as a socio-cultural system, prescribes a set of beliefs and values for its followers. Religions, therefore, cultivate certain emotions. Moreover, these rules are explicitly laid out and interpreted by religious leaders. Using emotion attribution, we explore how different religions are represented in LLMs. We find that: Major religions in the US and European countries are represented with more nuance, displaying a more shaded model of their beliefs. Eastern religions like Hinduism and Buddhism are strongly stereotyped. Judaism and Islam are stigmatized -- the models' refusal skyrocket. We ascribe these to cultural bias in LLMs and the scarcity of NLP literature on religion. In the rare instances where religion is discussed, it is often in the context of toxic language, perpetuating the perception of these religions as inherently toxic. This finding underscores the urgent need to address and rectify these biases. Our research underscores the crucial role emotions play in our lives and how our values influence them.
著者: Flor Miriam Plaza-del-Arco, Amanda Cercas Curry, Susanna Paoli, Alba Curry, Dirk Hovy
最終更新: 2024-07-09 00:00:00
言語: English
ソースURL: https://arxiv.org/abs/2407.06908
ソースPDF: https://arxiv.org/pdf/2407.06908
ライセンス: https://creativecommons.org/licenses/by/4.0/
変更点: この要約はAIの助けを借りて作成されており、不正確な場合があります。正確な情報については、ここにリンクされている元のソース文書を参照してください。
オープンアクセスの相互運用性を利用させていただいた arxiv に感謝します。
参照リンク
- https://www.latex-project.org/help/documentation/encguide.pdf
- https://www.pewresearch.org/religious-landscape-study/database/
- https://platform.openai.com/docs/models/gpt-4-and-gpt-4-turbo
- https://ai.meta.com/blog/meta-llama-3-meta-ai-responsibility
- https://www.padmasambhava.org/sermon/four-immesurables
- https://www.theatlantic.com/politics/archive/2019/05/progressive-christians-abortion-jes-kast/590293/