AI研究とガバナンスにおける調査の役割
アンケートがAI研究、価値観、そして公共の関与にどんな影響を与えるかの分析。
― 1 分で読む
目次
AI(人工知能)研究に公衆を巻き込む呼びかけが増えてきてる。これにより、AIに関連する人々の価値観、信念、経験を集めるために調査が使われるようになった。この記事では、この文脈における調査の活用を批判的に考察する。6カ国で行われた調査パイロットを分析し、AIに関連する公的調査を用いた44本の論文をレビューする。これらの調査で使われる主要な視点や方法について見ていく。
AI研究における調査 調査は、AIに関する人々の考えや経験を集めるために研究者、開発者、政策立案者の間で広く使われている。これにより、新しい技術の設計や開発が形作られ、企業の方針や国家の規制に影響を与える。しかし、設計が不適切な調査が誤解を招いたり、意図した目的を果たせなかったりすることへの懸念がある。利益を提供する代わりに、偏った結果や公衆の意見に関する誤解といった倫理的問題や害を生む可能性がある。
調査は、人々のAIに対する見解や経験を定量化することを目的としたツールだ。しかし、複雑なアイデアを単純化しがちで、重要な詳細を見逃すことがある。周縁化されたグループの声を調査で捉えられないことが様々な研究で指摘されており、不適切な調査設計が誤解を招く結果につながることが示されている。
イギリスでは、喫煙やアルコール使用に関する調査で、マイノリティグループと一般人口との間で結果に大きな違いが見られた。これらの不一致は、調査方法から生じる潜在的なバイアスを示唆している。AI研究が西洋の人口に焦点を当てることへの類似の批判もあり、これは多様なグローバルな視点を持つAI利用者の意見を正確に反映していないかもしれない。
これらの問題にもかかわらず、公的調査の利用は拡大している。調査は今や、金融、医療、教育など様々な分野での重要なAIプロジェクトに影響を与えており、意見形成に寄与している。しかし、多くの人気のあるAIプロジェクトは、多様な視点を捉えられるという前提で運営されているが、必ずしもそうとは限らない。
要するに、この記事は、人間の経験の複雑さや異なる文化のニュアンスを考慮していない調査に過度に依存することの問題点を強調している。設計が不適切な調査は、反映すべき人口を誤って表現する結果をもたらす可能性がある。私たちは、AI研究における調査の設計と解釈を考えるために研究コミュニティに重要な洞察と問いを提供することを目指している。
調査の歴史的背景
現代の調査方法は、政府のために人口に関するデータを収集するという長い歴史から進化してきた。食料供給の追跡や資源の管理がその例だ。研究が専門化するにつれて、調査は従来の実験的アプローチよりも人気を得た。調査は心理学においても重要な役割を果たし、人間の行動に関する貴重な洞察をもたらした。
しかし、調査は有害な政策を支持するために誤用されることが多く、倫理的な懸念が生じている。この進化には、質問票の設計、検証方法の大きな進歩、調査実施を容易にするための技術の発展が含まれる。
社会研究において広く採用されているにもかかわらず、一部の学者は調査への依存を批判しており、理論的な深みのない表面的な結果をもたらす可能性があると示唆している。調査は「市民参加の相談」レベルに属し、有用な情報を提供できるが、意思決定プロセスへの積極的な参加を促さないことが多い。
調査は、特にAIの分野で現代の研究の主流となり、公共の態度や意見に関する構造化されたデータを集める役割を担っている。これらの調査は、人々が技術とどのように関わるかを理解し、製品開発や政策の方向性に情報を提供する上で不可欠だ。
AIガバナンスにおける調査の普及
AIが社会に与える影響に関する証拠が増える中で、AIの効果を理解するには様々な利害関係者からの意見が必要だ。実際、AIの開発は業界、研究、政策によって主に推進されてきており、公衆の関与が犠牲にされがちだ。最近では、より多くの公的な参加を求める動きがあり、研究者たちはAIに関連する意思決定の改善と説明責任の強化を求めている。
多くの研究がAIに対する公衆の認識を測るために調査を使用し、信頼、認識、AI技術のリスクと利益に関する洞察を捉えることを目指している。たとえば、多くの人がAIの開発を支持している一方で、失業や他の社会的影響に対する重大な懸念も示されている。
しかし、調査が広く使われる一方で、体系的な問題が生じている。一部の調査手法は特定の人口を適切に代表できず、偏見や公衆の感情に関する誤解をもたらしている。
私たちの考察を導く研究課題
この考察を導く核心的な問いは次の通り:
- 調査はAIに関する人々の価値観や経験の研究にどのように位置付けられているのか?報告された要素やその文化的、方法論的な意味は?
- AIに関する人間参加者を含む調査研究の設計、実施、解釈、報告において、どのような倫理ガイドラインが必要か?
私たちは、国際調査パイロットの分析を包括的な文献レビューと結びつけ、公共調査への依存が高まる中でAI研究コミュニティが考慮すべき前提を批判的に評価し、重要な質問を提起する。
私たちのアプローチ:調査パイロットの分析
調査手法についての反省を促すために、6大陸から282人の参加者を対象とした調査パイロットを行い、AIの利益とリスクに対する認識を測ることを目指した。認められたベストプラクティスに従ったにもかかわらず、AI研究においてさらなる検討が必要なさまざまな既知および未知の問題が見つかった。
調査設計
パイロット調査では、AIの利益とリスクに対する認識を理解するために自由回答形式の質問を含めた。さまざまな情報源からAIの影響に関するストーリーを集め、多様な視点を捉えることを目指した。また、将来のAIシステムの設計や信頼性に関する参加者の見解も探った。
パイロット調査の洗練
調査の質を向上させるために、人口統計に関する質問を最後に配置してバイアスを減らしたり、質問を明確にするために専門家レビューを行ったりした。また、調査に含まれる国々に詳しい人々と関わり、文化的考慮に関する洞察を集めた。
パイロット調査の実施
調査はオンラインプラットフォームを通じて実施され、さまざまな国から参加者を募った。表現のバランスを目指したが、特に周縁化されたコミュニティからのアクセスや参加に関する課題が生じた。最終的なデータセットは282の回答で構成された。
参加者の人口統計
参加者は選ばれた6カ国の間で比較的均等に分布していた。ただし、サンプルは各国の多様性を完全に考慮しておらず、アプローチの限界を示している。
システマティックな文献レビューの実施
システマティックレビューは、調査を通じて公衆のAIに対する認識を探った最近の研究に焦点を当てた。結果の多様性を捉え、調査方法論における一般的な落とし穴を特定することを目指した。
AI研究における調査手法
私たちの分析は、研究間の報告慣行の不一致を明らかにした。多くの調査は参加者募集や倫理審査プロセスについて透明性が欠けていた。このばらつきは、AIに関連する調査結果の信頼性に懸念を引き起こす。
募集戦略
多くの研究では、主にオンラインプラットフォームを用いて様々な募集方法が採用されていた。しかし、これらの手法に依存することで特定の人口に障壁を生み出し、一般公衆を正確に代表しないサンプルをもたらすことがある。
人口統計の報告
分析の結果、人口統計の報告が不一致で、参加者のバックグラウンドに関する詳細が限られていることが判明した。この不透明感は調査結果の正確な解釈を妨げ、潜在的なバイアスを隠すことにつながる。
著者の地理的多様性
レビューでは、分析した研究の著者の地理的多様性が不足していることが強調された。これは、著者が研究された人口のデータを正しく解釈するための十分な文化的背景を持っているかどうかに関する重要な疑問を提起する。
調査プロセスへの批判
代表性の課題
調査がAIにおける公的関与のツールとしてますます重要になる中で、真の代表性に関する懸念が大きくなっている。調査結果における誤表現はバイアスを助長し、特に周縁化されたグループにとってAIの影響に関する公衆の理解を歪ませる可能性がある。
クロスカルチュラル調査
異なる文化間で調査を行うことは、十分に対処されない複雑さを伴う。調査は地域のニュアンスを捉えられず、誤解を招く結果やコミュニティに対して潜在的に有害な結果をもたらすことがある。
倫理的調査設計のためのヒューリスティックな質問
特定された課題を踏まえ、私たちはAIに関する倫理的な調査設計を導くためのヒューリスティックな質問のセットを提案する:
- 調査内容の標準化と文化的特異性の必要性のバランスをどうとるか?
- 地域の言語や文化的背景に対応した調査に適応しているか?
- 多様な経済的背景の中で参加者に公平に報酬を与えるべきか?
- 調査プロセスや結果について参加者に十分に透明であるか?
これらの質問に取り組むことで、研究者は調査方法論を改善し、AIに影響を受けるコミュニティとの責任ある関与を確保できる。
研究における透明性の役割
研究実践における透明性は、参加者との信頼を築くために不可欠だ。これには、研究の目的、意思決定プロセス、結果の影響に関する明確なコミュニケーションが含まれる。
参加者の権限を強化する
調査研究への参加によって参加者が得るものを考慮することが重要だ。相互の利益を確立することで、信頼を高め、より多くの参加を促せる。研究者は、AI関連の研究に関わるコミュニティへの価値交換について反省すべきだ。
調査の既知の限界
調査手法には、いくつかの認識されたバイアスや限界がある。これには、従順バイアス、社会的望ましさバイアス、標本バイアスが含まれる。これらのそれぞれが結果を歪め、公衆の感情を誤表現する可能性がある。
これらの限界にもかかわらず、調査はAIに関する態度、信念、行動に関するデータを収集するための主要な手段として使用され続けている。
結論
調査はAI研究において不可欠なツールとなっているが、代表性、倫理、透明性に関連する固有の課題を抱えている。この記事は、批判的な反省と、AI研究における調査の質と効果を向上させるためのベストプラクティスの開発の必要性を強調している。
人間の視点の複雑さを認識し、多様なコミュニティと関わることで、研究者は異なる人口におけるAIの影響の現実をより良く捉えるための公平で情報に基づく調査手法を目指すことができる。リスクが高い中、私たちはAIの進化する分野において慎重で責任ある調査研究へのアプローチを採用することが重要だ。
タイトル: Surveys Considered Harmful? Reflecting on the Use of Surveys in AI Research, Development, and Governance
概要: Calls for engagement with the public in Artificial Intelligence (AI) research, development, and governance are increasing, leading to the use of surveys to capture people's values, perceptions, and experiences related to AI. In this paper, we critically examine the state of human participant surveys associated with these topics. Through both a reflexive analysis of a survey pilot spanning six countries and a systematic literature review of 44 papers featuring public surveys related to AI, we explore prominent perspectives and methodological nuances associated with surveys to date. We find that public surveys on AI topics are vulnerable to specific Western knowledge, values, and assumptions in their design, including in their positioning of ethical concepts and societal values, lack sufficient critical discourse surrounding deployment strategies, and demonstrate inconsistent forms of transparency in their reporting. Based on our findings, we distill provocations and heuristic questions for our community, to recognize the limitations of surveys for meeting the goals of engagement, and to cultivate shared principles to design, deploy, and interpret surveys cautiously and responsibly.
著者: Mohammmad Tahaei, Daricia Wilkinson, Alisa Frik, Michael Muller, Ruba Abu-Salma, Lauren Wilcox
最終更新: 2024-07-26 00:00:00
言語: English
ソースURL: https://arxiv.org/abs/2408.01458
ソースPDF: https://arxiv.org/pdf/2408.01458
ライセンス: https://creativecommons.org/licenses/by/4.0/
変更点: この要約はAIの助けを借りて作成されており、不正確な場合があります。正確な情報については、ここにリンクされている元のソース文書を参照してください。
オープンアクセスの相互運用性を利用させていただいた arxiv に感謝します。