テキストから画像へのモデルにおける文化的能力の評価

テキストから画像を生成するモデルは、書かれたプロンプトに基づいて高品質な画像を作成する能力を急速に向上させてきた。Stable Diffusion、Imagen、DALLE-3などのツールは、デジタルアートや教育の分野で人気を博している。ただし、これらのモデルの開発には、特に世界中の異なる文化をどれだけ正確に表現しているかという重要な社会的および倫理的な問題を考慮する必要がある。

初期の評価では、画像の現実性や正確性に焦点が当てられていたが、最近の調査によると、これらはしばしば社会的バイアスを反映していることが示唆されている。多くのモデルは、主に単一の文化的視点に基づいて構築されているため、彼らが表現しようとする多様な文化を正確に表現できない場合がある。これにより、ステレオタイプやさまざまな文化グループの表現の欠如が起こる。

この研究では、テキストから画像生成モデルにおける文化的コンピテンスの2つの主要な側面、すなわち文化認識と文化的多様性を探りたいと思っている。文化認識は、文化を構成するさまざまな要素やアーティファクトを理解することを意味する。文化的多様性は、これらのモデルによって生成される画像における文化の表現の多様性に焦点を当てている。

#問題

急速な進展にもかかわらず、テキストから画像生成モデルの評価は文化的考慮をほとんど無視してきた。ここで文化を指すとき、地理に基づいた人々のグループの違い、特に国について述べている。

これをよりよく説明するために、これらのモデルが文化に関連するプロンプトに基づいて画像を生成する方法を見てみよう。たとえば、ナイジェリアの人気料理の画像を求めるプロンプトは、ナイジェリア料理の全体のバラエティを捉えられず、同じ数皿を繰り返し生み出すかもしれない。同様に、インドの寺院のような有名なランドマークの画像を求めると、モデルは寺院を正確に描写できず、誤解を招く可能性がある。

現在の評価アプローチは、現実性や美的感覚を優先する傾向があり、文化的表現における重要なギャップを見逃している。これらのギャップは、有害なステレオタイプを生み出し、豊かな文化的アイデンティティを一面的に単純化する恐れがある。多様なグローバルオーディエンスに真にサービスを提供するモデルを開発するためには、これらの問題に対処することが重要だ。

#主な課題

主な課題の一つは、効果的な評価を促進するための広範な文化的アーティファクトを捉えた包括的なリソースがないことだ。そのようなリソースがなければ、大規模での文化的認識の評価が困難になる。また、生成された画像における多様性を評価する方法を理解するための重要なギャップも存在する。

既存の方法は、これらのモデルが文化的多様性の豊かさをどれだけ表現しているかを測定するのにしばしば不十分である。この評価ツールの欠如は、より包括的で代表的なテキストから画像モデルの作成を妨げる可能性がある。

#私たちのアプローチ

これらの課題に取り組むために、テキストから画像モデルにおける文化的コンピテンスを評価するための構造化された方法を提案する。私たちのアプローチは、CUBEという基準を構築することに中心を置いている。CUBEは、テキストから画像モデルの文化的基準を示すCUltural BEnchmarkの略だ。この基準は、文化的認識と文化的多様性の2つの重要な次元に沿って文化的コンピテンスを評価することを目指している。

この評価を支援するために、知識ベースと言語モデルを組み合わせて文化的アーティファクトの大規模なデータセットを作成した。このデータセットは、8つの異なる国の文化的アーティファクトに焦点を当て、料理、ランドマーク、アートの3つの概念にわたる。このフレームワークを通じて、これらのモデルが文化的アーティファクトの正確で多様な表現を生成する能力を調べることができる。

CUBEは2つの要素から構成されている：文化的認識を評価するための高品質なプロンプトのセットを含むCUBE-1K、および文化的多様性を評価する基盤として機能する文化的アーティファクトのより大きなデータセットであるCUBE-CSpaceだ。

#文化的コンピテンスの理解

テキストから画像モデルにおける文化的コンピテンスは、モデルが異なる国に関連する文化的要素を理解し、表現する能力に関連している。私たちは、分析を2つの主な側面に沿って整理する。

1. 文化的認識： この側面は、モデルがさまざまな文化的アーティファクトを認識し、生成する能力を評価する。たとえば、ナイジェリア料理に関するプロンプトに対して生成された画像は、国の料理の多様性を反映したさまざまな料理を表現すべきだ。

2. 文化的多様性： これは、特定の入力に対してモデルが生成するさまざまな文化的アーティファクトの範囲に焦点を当てる。文化的に多様な出力は、多くのアーティファクトを表現するだけでなく、元の文化に忠実な方法で行われるべきだ。

#発見

テキストから画像生成モデルの評価は、さまざまな国における文化的認識に顕著な欠陥があることを明らかにしている。これは、モデルの出力における文化的表現を効果的に測定し、改善するツールの必要性を強調している。

さらに、文化的多様性を新しい評価指標として導入する。この指標は、特にプロンプトが具体的でないときに、モデルが文化的表現の多様性をどれだけ考慮しているかのギャップを浮き彫りにするのに役立つ。

私たちの発見は、これらのモデルが文化的多様性に対処する方法に大きな改善の余地があることを示している。現在のモデルは、世界中の豊かで多様な文化を効果的に表現するためには、まだまだ道のりが長い。

#CUBEの構築

CUBEは、テキストから画像生成モデルにおける文化的コンピテンスを評価するために新たに作成された基準だ。私たちは文化的概念を特定するためのフレームワークとして国に焦点を当てている。選ばれた8か国は、多様な文化的背景を代表している。

各国に対して、特定の文化的概念を定義する。たとえば、料理の概念には、「アメリカ料理」や「ナイジェリア料理」などの文化的概念が含まれる。各文化的概念は、それの本質を反映する有形のアーティファクトと関連している。

包括的な評価フレームワークを作成するために、知識グラフと言語モデルを組み合わせた方法で各概念の文化的アーティファクトを収集する。これにより、各文化の豊かさを表すアーティファクトの広範なデータベースを構築できる。

CUBEデータセットには、2つの主要な要素が含まれている：

• CUBE-1K： このセットは、文化的認識を評価するために使用される1,000の注意深くキュレーションされたプロンプトで構成されている。
• CUBE-CSpace： このより大きなデータセットには、文化的多様性を評価するために使用できる300,000の文化的アーティファクトが含まれている。

#文化的認識の評価

文化的認識を測定するために、CUBE-1Kデータセットからプロンプトを使用する。評価の伝統的な側面、たとえば忠実性（生成された画像がプロンプトにどれだけ忠実か）や現実性（生成された画像がどれだけリアルに見えるか）を使用する。これらの次元に対する自動化された指標は存在するが、文化的表現の複雑さを捉えるのには不十分であることが多い。

この問題を解決するために、文化的認識を複数の観点から評価する人間の注釈スキームを考案した。これは、生成された画像を人間の評価者に提示し、文化的関連性や忠実性、現実性に関する質問をするというものだ。

人間の評価者は、自動化された指標が見逃す貴重な洞察を提供できることがわかり、生成された画像における文化的表現の微妙な性質を捉えることが可能になる。

#文化的多様性の評価

私たちは、テキストから画像モデルが生成した出力の文化的多様性を評価しようとしている。生成された文化的アーティファクトがどれだけ多様であるかを調べる際には、特に具体的な指導がない一般的な概念を伝える未指定のプロンプトに焦点を当てる。

文化的多様性を測定するアプローチは、生成された画像を最も関係の深い文化的アーティファクトにマッピングすることだ。未指定のプロンプトに対して、9つの異なる文化的アーティファクトのコレクションを作成することで、モデルによって示された文化的表現の幅を分析できる。

品質加重スコアを利用して生成された画像の効果を評価する。このスコアは、文化的アーティファクトの品質と多様性の両方を考慮に入れる。私たちの分析は、モデルが忠実でリアルな画像を生成する一方で、文化的多様性の広範な範囲を示すのには失敗しているというパターンを明らかにする。

#洞察と影響

私たちの研究は、テキストから画像モデルの開発における文化的コンピテンスの重要性を強調している。これらのモデルが人気を増し、使用されるにつれて、世界中の多様な文化を表現できることを確保することが重要だ。

CUBE基準を導入することで、文化的表現における既存のギャップに対処するのに役立つフレームワークを提供する。私たちの評価を通じて、現在のモデルの欠陥を露呈させ、文化的認識と多様性の向上の必要性を強調する。

人間の評価から得られた洞察は、テキストから画像モデルの文化的コンピテンスを改善する可能性を示している。今後も、モデル開発においてより包括的なアプローチを促進することが、すべての文化が適切に表現されることを確保するために重要になるだろう。

#倫理的考慮

私たちの作業は、文化的表現に慎重に取り組む必要があることを強調している。データセットを構築するために使用した自動化されたツールは、認識すべきバイアスを導入する可能性がある。そのため、私たちの自動化された手法を補完するために、多様な声や視点を含めようとする地域コミュニティの取り組みが重要だ。

さらに、文化評価プロセスには限界があり、異なる文化が文化的アーティファクトがどれだけ正確に表現されているかに関して異なる基準を持つ可能性がある。これらのニュアンスを認識することは、私たちの作業を拡大し、テキストから画像モデル内の文化的多様性の範囲を広げ続けるために重要だ。

#結論

要するに、CUBEはテキストから画像モデルの文化的コンピテンスを評価し、高めるための重要な初歩的ステップを表している。私たちの発見は、まだ対処すべき重要なギャップを浮き彫りにしている。文化的認識と文化的多様性に焦点を当てることで、より多様なグローバルオーディエンスにサービスを提供できるテキストから画像モデルの開発を促進することを目指している。

私たちの研究を進めるにあたり、文化的多様性のより包括的な表現を促進するために必要なツールの拡大と改善に引き続き取り組んでいく。CUBE基準とその基盤となるデータセットは、この分野の将来の研究と開発を導く上で重要な役割を果たすだろう。