Simple Science

最先端の科学をわかりやすく解説

# コンピューターサイエンス# コンピュータと社会# 人工知能# ヒューマンコンピュータインタラクション# 機械学習

フェアなAIを作る: 基盤モデルへのコミュニティ参加

この記事では、AIシステムの開発における地域参加の役割を考察します。

― 1 分で読む


AIにはコミュニティの声がAIにはコミュニティの声が必要だよ。エンゲージメントが公正なAI開発の鍵だよ
目次

最近、ファウンデーションモデルと呼ばれる高度なAIシステムに対する注目が高まってるよね。GPT-4やCLIPみたいなモデルは、いろんなタスクをこなせるように設計されてるんだけど、医療や金融など多くの分野で大きな期待を持たれてる一方で、リスクも抱えてるんだ。特に懸念されるのは、これらのモデルが既存の不平等や不正を助長する可能性があること。これらのモデルがミスをしたり、被害をもたらしたりすると、その影響は多方面に広がることがあるんだ。

この問題に対処するために、多くの研究者や実務者は、多様なコミュニティをモデル開発に巻き込む重要性を信じてる。つまり、こうした議論から外れがちな人たちの声を届けることで、AIシステムがもっと公平で責任あるものになるように目指すってこと。でも、従来のコミュニティ参加方法は、特定のアプリケーションや利害関係者に焦点を当てがちで、ファウンデーションモデルの広いコンテキストに適用するのが難しいんだ。

この記事では、ファウンデーションモデルとコミュニティ参加のギャップを埋めることを目指してる。AIの参加型アプローチの現状を見て、さまざまな利害関係者がもっと意味のある関与ができる新しいフレームワークを提案するよ。

ファウンデーションモデルの理解

ファウンデーションモデルは、AIについての新しい考え方を示してるんだ。特定のタスクに特化した従来のモデルとは違って、ファウンデーションモデルはもっと一般的な意味で言語を理解したり生成したりするように作られてる。自己教師あり学習を用いて膨大なデータで訓練されて、明示的な指示なしにデータ内のパターンや構造を学べるんだ。

その結果、これらのモデルは最初から再訓練することなく様々なタスクに適応できる。この一般化する能力こそが、様々な業界で魅力的なんだ。ただ、ファウンデーションモデルの開発と展開には、多くの倫理的かつ実務的な問題が伴うんだ。

期待と危険

ファウンデーションモデルには医療診断の進展や顧客サービスの改善、金融取引の簡素化など、多くの機会がある。でも、これらの機会にはリスクもついてくる。主要な懸念点は以下の通り:

  1. 偏見と差別:ファウンデーションモデルが偏ったデータで訓練されると、社会の既存の偏見を助長したり、悪化させたりすることがある。これが就職、融資、法執行などの分野で、マイノリティへの不公平な扱いにつながることがある。

  2. 透明性の欠如:多くのファウンデーションモデルはブラックボックスのようなもので、どのように意思決定や出力を生成するのか理解しにくい。特に重要な場面では、これが問題になることがある。

  3. 権力の集中:ファウンデーションモデルの開発は主に大手テクノロジー企業によってコントロールされている。この中央集権化は、様々な利害関係者やコミュニティの関与を制限し、責任やガバナンスに関する懸念を引き起こす。

  4. 環境への影響:大規模なファウンデーションモデルの訓練には大量の計算資源が必要で、これが深刻な環境影響をもたらす可能性がある。これが持続可能性や長期的な影響に関する疑問を生じさせる。

コミュニティ参加の重要性

ファウンデーションモデルに関する懸念を効果的に解決するためには、これらのシステムの影響を受けるコミュニティを巻き込むことが欠かせない。参加型アプローチは、マイノリティや代表されていないグループの声を聞き、そのニーズや懸念を解決することを助ける。

参加型アプローチの利点

  1. エンパワーメント:コミュニティに開発プロセスに参加させることで、彼らは影響を与えるシステムに対する所有感やコントロール感を持つことができる。

  2. 多様な視点:多様な利害関係者を巻き込むことで、より効果的で公正なAIシステムが生まれる。異なるコミュニティは、開発者が孤立して作業する中では見えにくい独自の課題や機会を浮き彫りにできる。

  3. 説明責任:参加型の方法は、より透明なプロセスを生み出し、利害関係者がAIの開発や展開に関する決定に対して組織に説明責任を求めることができる。

  4. より良い結果:コミュニティがAIシステムの設計や評価に関与することで、ニーズにより合った解決策が生まれ、最終的に成功する結果につながる。

参加型AIの現在の課題

参加型の方法がAIにおいて進展してきたとはいえ、依然として課題は残ってる。多くの既存の参加型の取り組みは特定のアプリケーションに特化していて、ファウンデーションモデルの独自の性質を見落としがちなんだ。

既存の参加型アプローチの限界

  1. 範囲:多くの参加型AIイニシアティブは、小さな地域的なアプリケーションに焦点を当てることが多い。これがファウンデーションモデルに適用するのを難しくしてる。

  2. 利害関係者の代表性:従来の参加型フレームワークはしばしば、特に資源や影響を持たないマイノリティグループを含むことが難しい。

  3. 権力のダイナミクス:参加は時に表面的になりがちで、強力なアクターがプロセスを支配することで、コミュニティとの真のパワーシェアを持たない場合がある。

  4. 参加の複雑さ:ファウンデーションモデルの独自の特性が参加型プロセスを複雑にするため、利害関係者が意義のある形で関与するのが難しくなる。

参加型ファウンデーションモデルの新しいフレームワーク

これらの課題に対処するために、複数の参加層を組み込んだフレームワークを提案するよ。このフレームワークは、ファウンデーション、サブフロア、サーフェスの三つの異なる層で構成されてる。それぞれの層は異なる目的を持ち、より意味のある関与の機会を提供する。

ファウンデーション層

ファウンデーション層は、コアなモデル開発プロセスを表す。ここでファウンデーションモデルが作成され、維持される。ある程度の参加が必要だけど、ファウンデーションモデルが抱える独自の課題に対処するには不十分かもしれない。

サブフロア層

サブフロア層は、地域的でアプリケーションに特化した参加機会を提供するために重要なんだ。この層は、医療や金融など特定のドメインに関連する技術基盤、規範、ガバナンスで構成されてる。

具体的なドメインに焦点を当てることで、サブフロア層は利害関係者が意味のある形で関与できるようにする。誰が関与すべきかを定義し、考慮すべき潜在的な危害の範囲を形作る。この構造化されたアプローチによって、コミュニティは自分たちの専門知識や経験を効果的に提供できる。

サーフェス層

サーフェス層は、サブフロアの上に構築された特定の下流アプリケーションに対応する。ここでコミュニティがどのようにAIシステムが自分たちの特定の文脈で運用されるかに積極的に関与できる。

この段階では、利害関係者が問題を定義したり、データの収集や注釈に貢献したり、モデルの使用方法を決定したりすることができる。この層は、影響を受けるコミュニティの独自のニーズや課題を考慮した地域ごとの議論を可能にし、よりテーラーメードな解決策につながる。

フレームワークを示すケーススタディ

このフレームワークがどのように実装できるかを示すために、医療、ジャーナリズム、金融サービスにおける参加の機会を示す三つのケーススタディを紹介するよ。

ケーススタディ1:臨床ケア

最初のケーススタディは、電子健康記録を支援するシステムにおけるAIの使用に焦点を当ててる。これらのツールは文書作成を簡素化し、患者とのやり取りを向上させるのに役立つ。

問題

多様な言語や方言を効果的に理解し、医療に関する議論を正確に把握する転写ツールの開発が必要なんだ。でも、信頼、プライバシー、偏見の問題に取り組むことが重要になる。

参加の機会

患者擁護団体を巻き込むことで、さまざまな方言のデータを集め、重要な公平性のリスクを特定することができる。このサブフロア層は、利害関係者が共に開発プロセスを形作り、ツールが異なるコミュニティのニーズを満たすためのガイドラインを確立するのを可能にする。

サーフェス層では、利害関係者がAIベースの転写ツールを採用するかどうかを決定するスペースを作ることができ、彼らの具体的な懸念が聞かれ、対処されるようになる。

ケーススタディ2:ジャーナリズム

第二のケーススタディでは、サブフロア層がジャーナリストや他のクリエイターを、彼らの作品を無許可で使用するファウンデーションモデルの課題に直面させる場面を検証する。

問題

多くのニュース組織が、AIシステムによるコンテンツの無許可使用に直面していて、訴訟や雇用喪失の恐れが生じている。

参加の機会

著作権の懸念を集合的な行動で整理することで、ジャーナリストはライセンス使用可能な貢献のデータセットを確立できる。この取り組みは既存の組合や団体によって支援され、クリエイターがファウンデーションモデルにおける自らの作品の使用条件を交渉できるようにする。

サーフェス層は、クリエイターが自分のデータがどのように使われるかについて意見を持つメカニズムを提供し、適切な報酬を受け取ることを保証する。

ケーススタディ3:金融サービス

最後のケーススタディでは、金融サービスにおける詐欺検出にAIを使用することの影響を探る。

問題

企業が詐欺的な取引を特定するためにAIを利用する中で、公平性や差別に関する懸念が生じている。これらのシステムが特定のグループに対して不均等な影響を与えないようにすることが重要なんだ。

参加の機会

サブフロア層は、消費者が不公平な慣行についての経験を共有できる報告メカニズムを確立できる。擁護団体と協力すると、金融機関はこの情報をもとに自らの実践を改善し、差別を防ぐことができる。

サーフェス層では、コミュニティが詐欺検出プロセスについての洞察を提供し、説明責任を促進し、公正な慣行を推進することができる。

結論

要するに、ファウンデーションモデルの開発は多くのコミュニティにとって機会と課題の両方をもたらす。複数の参加層を組み込んだフレームワークを構築することで、より公正で効果的なAIシステムを作り上げることができる。

多様な利害関係者の意味のある関与を促すことで、より良い結果や透明性、説明責任を生むことができる。課題は残ってるけど、すべてのコミュニティの声がAI技術の開発と展開において聞かれ、考慮される未来に向けて進んでいけるはず。このアプローチは、先進的なAIシステムと、その影響を受ける人々のリアルな経験とのギャップを埋めることを目指してるんだ。

オリジナルソース

タイトル: Participation in the age of foundation models

概要: Growing interest and investment in the capabilities of foundation models has positioned such systems to impact a wide array of public services. Alongside these opportunities is the risk that these systems reify existing power imbalances and cause disproportionate harm to marginalized communities. Participatory approaches hold promise to instead lend agency and decision-making power to marginalized stakeholders. But existing approaches in participatory AI/ML are typically deeply grounded in context - how do we apply these approaches to foundation models, which are, by design, disconnected from context? Our paper interrogates this question. First, we examine existing attempts at incorporating participation into foundation models. We highlight the tension between participation and scale, demonstrating that it is intractable for impacted communities to meaningfully shape a foundation model that is intended to be universally applicable. In response, we develop a blueprint for participatory foundation models that identifies more local, application-oriented opportunities for meaningful participation. In addition to the "foundation" layer, our framework proposes the "subfloor'' layer, in which stakeholders develop shared technical infrastructure, norms and governance for a grounded domain, and the "surface'' layer, in which affected communities shape the use of a foundation model for a specific downstream task. The intermediate "subfloor'' layer scopes the range of potential harms to consider, and affords communities more concrete avenues for deliberation and intervention. At the same time, it avoids duplicative effort by scaling input across relevant use cases. Through three case studies in clinical care, financial services, and journalism, we illustrate how this multi-layer model can create more meaningful opportunities for participation than solely intervening at the foundation layer.

著者: Harini Suresh, Emily Tseng, Meg Young, Mary L. Gray, Emma Pierson, Karen Levy

最終更新: 2024-05-29 00:00:00

言語: English

ソースURL: https://arxiv.org/abs/2405.19479

ソースPDF: https://arxiv.org/pdf/2405.19479

ライセンス: https://creativecommons.org/licenses/by/4.0/

変更点: この要約はAIの助けを借りて作成されており、不正確な場合があります。正確な情報については、ここにリンクされている元のソース文書を参照してください。

オープンアクセスの相互運用性を利用させていただいた arxiv に感謝します。

著者たちからもっと読む

コンピュータと社会言語モデルを使ったソーシャルネットワークの生成

この記事では、言語モデルがどのようにリアルなソーシャルネットワークを作り出し、それにどんなバイアスがあるかを分析してるよ。

― 1 分で読む

類似の記事