ファウンデーションモデルの透明性の必要性
基盤モデルの定期的な透明性レポートを作成することは、責任を果たすためにめっちゃ重要だよ。
― 1 分で読む
ファウンデーションモデルは社会に大きな影響を与える重要な技術だよ。このモデルがどのように開発されて使われているのかをみんなが知るためには、透明性がめっちゃ大事。そこで、ファウンデーションモデルの透明性レポートを作ることを提案するよ。これはソーシャルメディア企業の報告プラクティスを参考にしてるんだ。
これらのレポートの目的は、ファウンデーションモデルに関する明確で役立つ情報を提供すること。ソーシャルメディアの透明性レポートが社会的な問題に応じて出てきたのに対して、私たちはこの分野がまだ発展中の今、ファウンデーションモデルのために似たようなプラクティスを確立することを目指しているんだ。ソーシャルメディア報告でうまくいったことやうまくいかなかったことに基づいた6つのガイドラインをまとめたよ。
これらのレポートを作るために、Foundation Model Transparency Indexを参照していて、100の重要な指標が含まれているんだ。この指標がEU AI法やアメリカのAIに関する大統領令などの政府の重要なポリシーの透明性要件とどれだけ合致しているかもチェックしてる。しっかりした透明性レポートがあれば、企業はコストを抑えるのに役立つかも。世界中の多くの規制が似たような情報を要求しているからね。
G7やホワイトハウスみたいなグループが奨励しているように、ファウンデーションモデルの開発者が定期的にこうした透明性レポートを公開することを推奨してる。今のところ、ファウンデーションモデルのエコシステムは透明性が欠けていて、OpenAIやGoogleみたいな主要企業の公的な説明責任は低いんだ。
ソーシャルメディアプラットフォームも昔は似たような問題を抱えていて、透明性レポートを発表し始めたんだ。この15年で、多くのインターネットや通信会社がユーザーの利用やガバナンスの実践を詳述した公開レポートを出すことを選んだ。これが業界の標準プラクティスになったよ。
EUもデジタルサービス法を通じて透明性を要件にしていて、オンラインプラットフォームに定期的な透明性レポートの発行を義務付けてる。ファウンデーションモデルの業界が成長するにつれて、政府も透明性を改善するための似たような手段を検討してる。
例えば、アメリカではファウンデーションモデルに関する標準的な公開報告を義務付ける新しい法律が提案されている。これはAI技術の使用と影響に関する透明性の必要性を強調してる。
同様に、EU AI法はトレーニングデータやリスク管理などの透明性要件を定めている。他の国、例えばカナダやイギリスもAI技術の透明性を改善するための対策を提案しているよ。
ファウンデーションモデルのエコシステムの透明性のギャップを埋めるために、標準化されたファウンデーションモデルの透明性レポートを作成することを提案する。これらのレポートは、開発者が定期的に更新すべき必要な情報を提供するものであるべきだよ。
企業が報告する内容を標準化することで、関係者が必要な情報に簡単にアクセスできたり、異なるモデルを比較できるようになる。私たちのレポートはG7の推奨や、透明性を高めるために企業が行った約束に基づいているよ。
今のところほとんどのファウンデーションモデルの開発者は、自分たちのプラクティスについて明確な情報を提供していないから、これが混乱を招いて関係者が技術を理解するのが難しくなってるんだ。私たちのレポートは、何が含まれているか、どのように整理するかの明確な期待を設定するよ。
現在の透明性要件でも、しばしば明確さが欠けていて、開発者が何を報告すべきかが具体的に示されていないんだ。だから、私たちのレポートは必要な情報のための明確な枠組みを示して、サプライチェーン全体にわたる多様なプラクティスを含むよ。
他の業界の透明性の仕組みを見つめることで、ファウンデーションモデルにとって貴重な教訓を得られるんだ。例えば、いろんな分野の多くの企業はすでに自分たちの運営を文書化したレポートを作成することが求められていて、これらのレポートは説明責任を確保するのに役立っているよ。
要するに、私たちの目標はファウンデーションモデルの開発者がもっと透明性を持てるよう助けて、政府にはポリシーを通じて透明性を促進するための道具を提供することなんだ。
ソーシャルメディア透明性レポートの背景
過去20年のソーシャルメディアプラットフォームの成功は、どれだけ変革的な技術が社会を形作るかを教えてくれるよ。ソーシャルメディアが広まるにつれ、誤情報やプライバシーの懸念など、多くの課題に直面してきたんだ。
これらの問題は、ケンブリッジ・アナリティカのスキャンダルやミャンマーのロヒンギャコミュニティへの暴力などを通じて明らかになった。こうした深刻な社会的害が、ソーシャルメディア企業にもっと明確に運営方法やユーザーデータの管理について説明する必要性を強調したんだ。
この問題に対処するために、ソーシャルメディア企業は透明性レポートを発表し始めて、ユーザー活動や法的要請に関連したさまざまな指標を追跡している。2010年以降、多くのプラットフォームがこのプラクティスを採用し、公共の圧力に応じて情報の取り扱いについてユーザーを安心させる方法として使われているよ。
例えば、Googleは、コンテンツ削除のためにどれだけの政府の要請を受けたか、その理由を記載したレポートを公開し始めた。他のプラットフォームもその後、これに続いて透明性報告が大幅に増加したんだ。
これらのレポートは、一般的にユーザー情報の要求、削除要求、知的財産の執行、ポリシーの執行などのいくつかのカテゴリに分かれている。ソーシャルメディア企業は主にユーザーのプライバシーを保護することに焦点を当てつつ、彼らのプラクティスに関する公共の懸念に対処しているよ。
透明性レポートを作成する企業が増える中で、これらのレポートを評価し、効果や徹底度に基づいてスコアをつける組織も登場した。この評価は、企業が透明性に対する約束を果たすための注目を高める結果となったんだ。
しかし、これらの進展にもかかわらず、企業が自分たちのプラクティスを報告する方法には多くのギャップや不整合が残っている。異なるソーシャルメディアプラットフォームは似たような情報を異なる方法で報告することが多く、意味のある比較をするのが難しくなってる。
近年、透明性報告はさまざまな業界で一般的な期待となり、公共からのより良い説明責任の要求によって推進されている。EUのデジタルサービス法(DSA)は、大規模なオンラインプラットフォームに対して明確で詳細な透明性レポートを提示することを義務付ける画期的な規制だよ。
DSAは、プラットフォームが情報を開示する方法に関する具体的な基準を設定していて、コンテンツモデレーションの実践から運営に利用されるリソースまで多岐にわたる。明確さを求めるこの規制は、ユーザーや関係者に対してプラットフォームがどのように責任を管理しているかをよりよく理解させることを目指しているんだ。
ファウンデーションモデル透明性レポートの設計
効果的なファウンデーションモデル透明性レポートを作成するために、私たちは6つの重要な原則に焦点を当てている。これらの原則は、ソーシャルメディア透明性レポートの強みと限界に基づいているよ。
まず、統合と集中が重要。レポートは情報を一箇所にまとめて、関係者が必要なものを見つけやすくするべき。レポートは必要な情報を強調する明確な構造を持っていて、ユーザーが持つ具体的な質問に答える形になるべきだよ。
次に、透明性レポートは様々な関係者が情報を解釈するための文脈を提供するべき。ユーザー、研究者、開発者みんながデータの背後にある方法やプラクティスを理解するのに役立つ。
それから、独立した仕様が大事。開発者が自分たちのレポートに何を含めるかを決めるのではなく、統一されたインジケーターのセットが必要だ。これにより、みんなが同じカテゴリの情報を共有することになり、比較が簡単になるよ。
標準化も大切な原則。レポートは一貫したフォーマットに従って、ユーザーが提供される情報を簡単にナビゲートして分析できるようにすべき。これが異なるファウンデーションモデル間の比較を促進する手助けになるんだ。
最後に、明確な方法論が必要。開発者は統計を計算したり、特定の要因を評価した方法を説明するべき。この明確さがないと、関係者がレポートに示されている情報を信頼するのが難しくなるからね。
これらの原則を適用することで、様々な関係者にとって有益で情報に満ちた透明性レポートをデザインできることを目指してる。これらのレポートは、ファウンデーションモデルの開発、運営、影響に関する洞察を提供することを目指すべきだよ。
ポリシーの整合性
世界の複数の政府ポリシーには、ファウンデーションモデル開発者に対する透明性要件が含まれている。これらのポリシーを調べることで、私たちの透明性レポートのインジケーターとどのぐらい整合性があるかを確認できるよ。
私たちは、関連する透明性要件を含む6つの主要なポリシーを特定した。例えば、EU AI法は、AIシステムがどのように文書化されるべきかのルールを示していて、透明性やリスク管理についての具体的な開示を要求しているんだ。
同様に、アメリカのAIに関する大統領令は、AI業界における透明性の重要性を強調していて、企業にファウンデーションモデルに関連するプラクティスやリスクを開示することを義務付けている。他の国、例えばカナダやイギリスもAIの透明性を促進するポリシーに取り組んでいるよ。
透明性要件を確立することで、ファウンデーションモデルの開発者が政府の規制に自分たちのプラクティスを整合させるのを助けられる。そうすることで、法的義務を果たすだけでなく、より説明責任を持つことで公共の信頼を得ることができるよ。
しかし、現在の多くのポリシーは、透明性のすべての側面を扱うのに必要な具体性に欠けている。私たちの作業は、開発者が報告できる明確なインジケーターを定義することでこれらのギャップを埋めることを目指しているんだ。
透明性レポートエントリの例
ファウンデーションモデル透明性レポートをどう構成すればいいかを開発者に理解してもらうために、リーディングファウンデーションモデル企業の既存のプラクティスに基づく例を提供するよ。
例えば、データサイズの報告では、Hugging FaceのBLOOMZモデルが3630億トークンでトレーニングされたことを示しているよ。そして、ROOTSやxP3がデータソースで、さらなる詳細のために関連する論文を参照するように読者に指示している。
また、労働プラクティスに関する情報の例として、OpenAIのGPT-4は、公正に労働者を報酬し、不快なタスクからオプトアウトできるようにし、労働者の健康を調査することへのコミットメントを詳述している。このレベルの透明性は、公共との信頼を高める助けになるよ。
環境への影響に関しては、MetaのLlama 2モデルがエネルギー消費や二酸化炭素の排出に関する情報をユーザーに提供している。こうした開示は、関係者がファウンデーションモデルの開発と展開の広範な影響を理解するのに役立つよ。
結論
ファウンデーションモデルの急速な成長と社会への影響が増す中で、透明性の重要性はとても大事だよ。標準化された透明性レポートを採用することで、開発者は関係者や政策決定者に重要な情報を提供できる。
これらのレポートがファウンデーションモデルに対する信頼を築いて、技術が進化し続ける中での説明責任を確保する助けになるはずだ。特にソーシャルメディアの過去の経験から学ぶことで、エコシステムに関わる皆に利益をもたらす透明性の文化を育てられるようにしたいんだ。
タイトル: Foundation Model Transparency Reports
概要: Foundation models are critical digital technologies with sweeping societal impact that necessitates transparency. To codify how foundation model developers should provide transparency about the development and deployment of their models, we propose Foundation Model Transparency Reports, drawing upon the transparency reporting practices in social media. While external documentation of societal harms prompted social media transparency reports, our objective is to institutionalize transparency reporting for foundation models while the industry is still nascent. To design our reports, we identify 6 design principles given the successes and shortcomings of social media transparency reporting. To further schematize our reports, we draw upon the 100 transparency indicators from the Foundation Model Transparency Index. Given these indicators, we measure the extent to which they overlap with the transparency requirements included in six prominent government policies (e.g., the EU AI Act, the US Executive Order on Safe, Secure, and Trustworthy AI). Well-designed transparency reports could reduce compliance costs, in part due to overlapping regulatory requirements across different jurisdictions. We encourage foundation model developers to regularly publish transparency reports, building upon recommendations from the G7 and the White House.
著者: Rishi Bommasani, Kevin Klyman, Shayne Longpre, Betty Xiong, Sayash Kapoor, Nestor Maslej, Arvind Narayanan, Percy Liang
最終更新: 2024-02-25 00:00:00
言語: English
ソースURL: https://arxiv.org/abs/2402.16268
ソースPDF: https://arxiv.org/pdf/2402.16268
ライセンス: https://creativecommons.org/licenses/by/4.0/
変更点: この要約はAIの助けを借りて作成されており、不正確な場合があります。正確な情報については、ここにリンクされている元のソース文書を参照してください。
オープンアクセスの相互運用性を利用させていただいた arxiv に感謝します。
参照リンク
- https://www.wsj.com/articles/SB114002162437674809
- https://www.aclu.org/press-releases/internal-report-finds-flagrant-national-security-letter-abuse-fbi
- https://www.theguardian.com/world/2013/jun/06/nsa-phone-records-verizon-court-order
- https://wfanet.org/knowledge/item/2020/09/23/WFA-and-platforms-make-major-progress-to-address-harmful-content
- https://googleblog.blogspot.com/2010/04/greater-transparency-around-government.html
- https://extfiles.etsy.com/Press/reports/Etsy_TransparencyReport_2014.pdf
- https://www.eff.org/who-has-your-back-2016
- https://wordpress.com/blog/2015/06/17/a-perfect-eff-score-were-proud-to-have-your-back/
- https://rankingdigitalrights.org/index2015/
- https://www.newamerica.org/oti/policy-papers/the-transparency-reporting-toolkit/
- https://blog.twitter.com/official/en_us/a/2016/advancing-transparency-with-more-insightful-data.html
- https://carnegieendowment.org/2023/11/29/stalled-machines-of-transparency-reporting-pub-91085
- https://blog.twitter.com/en
- https://cyberlaw.stanford.edu/blog/2021/03/some-humility-about-transparency
- https://transparency.twitter.com/dsa-transparency-report.html
- https://ctan.org/pkg/pifont
- https://www.github.com/stanford-crfm/fmti
- https://crfm.stanford.edu/fmti
- https://github.com/stanford-crfm/fmti/blob/main/fmti-indicators.csv
- https://www.whitehouse.gov/briefing-room/statements-releases/2023/07/21/fact-sheet-biden-harris-administration-secures-voluntary-commitments-from-leading-artificial-intelligence-companies-to-manage-the-risks-posed-by-ai/
- https://www.whitehouse.gov/wp-content/uploads/2023/07/Ensuring-Safe-Secure-and-Trustworthy-AI.pdf
- https://www.whitehouse.gov/briefing-room/statements-releases/2023/09/12/fact-sheet-biden-harris-administration-secures-voluntary-commitments-from-eight-additional-artificial-intelligence-companies-to-manage-the-risks-posed-by-ai/
- https://www.whitehouse.gov/wp-content/uploads/2023/09/Voluntary-AI-Commitments-September-2023.pdf
- https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.100-1.pdf
- https://www.democrats.senate.gov/imo/media/doc/schumer_ai_framework.pdf
- https://www.blumenthal.senate.gov/imo/media/doc/09072023bipartisanaiframework.pdf
- https://www.congress.gov/bill/118th-congress/house-bill/5628/all-info?s=2&r=1
- https://docs.google.com/document/d/1A1bJ1mkIfE3eZuSbDmz3HGVtOvQDegHl53q3ArO7m44/
- https://leginfo.legislature.ca.gov/faces/billTextClient.xhtml?bill_id=202320240SB294
- https://www.europarl.europa.eu/doceo/document/TA-9-2023-0236_EN.pdf
- https://www.cac.gov.cn/2023-07/13/c_1690898327029107.htm
- https://ised-isde.canada.ca/site/ised/en/voluntary-code-conduct-responsible-development-and-management-advanced-generative-ai-systems
- https://english.kyodonews.net/news/2023/10/3b83adf1e28d-japans-ai-draft-guidelines-ask-for-measures-to-address-overreliance.html
- https://indiaai.s3.ap-south-1.amazonaws.com/docs/generative-ai-report.pdf
- https://ai.gov.ae/wp-content/uploads/2023/04/406.-Generative-AI-Guide_ver1-EN.pdf
- https://fpf.org/blog/how-data-protection-authorities-are-de-facto-regulating-generative-ai/
- https://www.gov.uk/government/publications/ai-foundation-models-initial-report
- https://www.ftc.gov/business-guidance/blog/2023/08/cant-lose-what-you-never-had-claims-about-digital-ownership-creation-age-generative-ai
- https://colaboracion.dnp.gov.co/CDT/Conpes/Econ
- https://mcit.gov.eg/Upcont/Documents/Publications_672021000_Egypt-National-AI-Strategy-English.pdf
- https://ai-innovation.id/images/gallery/ebook/stranas-ka.pdf
- https://www.niti.gov.in/sites/default/files/2019-01/NationalStrategy-for-AI-Discussion-Paper.pdf
- https://oecd.ai/en/dashboards/overview
- https://www.ohchr.org/en/statements/2023/07/artificial-intelligence-must-be-grounded-human-rights-says-high-commissioner
- https://www.ohchr.org/sites/default/files/documents/publications/guidingprinciplesbusinesshr_en.pdf
- https://indonesia.un.org/sites/default/files/2023-07/our-common-agenda-policy-brief-gobal-digi-compact-en.pdf
- https://www.whitehouse.gov/briefing-room/statements-releases/2023/05/20/g7-hiroshima-leaders-communique/
- https://www.politico.eu/wp-content/uploads/2023/09/07/3e39b82d-464d-403a-b6cb-dc0e1bdec642-230906_Ministerial-clean-Draft-Hiroshima-Ministers-Statement68.pdf
- https://legalinstruments.oecd.org/en/instruments/OECD-LEGAL-0449
- https://wp.oecd.ai/app/uploads/2021/06/G20-AI-Principles.pdf
- https://oecd.ai/en/ai-principles
- https://www.anthropic.com/index/claudes-constitution
- https://www.anthropic.com/index/core-views-on-ai-safety
- https://inflection.ai/safety
- https://openai.com/research/cooperation-on-safety
- https://openai.com/policies/supplier-code
- https://cohere.com/responsibility
- https://docs.cohere.com/docs/usage-guidelines
- https://stability.ai/blog/stability-ai-letter-us-senate-ai-oversight
- https://republicans-science.house.gov/_cache/files/5/5/551f066b-4483-4efd-b960-b36bc02d4b66/B82DBAFFA56F31799E058FB2755C2348.2023-06-22-mr.-delangue-testimony.pdf
- https://ai.meta.com/static-resource/responsible-use-guide/
- https://aws.amazon.com/compliance/data-privacy/Privacy_at_AWS_
- https://ai.google/static/documents/ai-principles-2022-progress-update.pdf
- https://learn.microsoft.com/en-us/legal/cognitive-services/language-service/transparency-note
- https://www.markey.senate.gov/imo/media/doc/letter_to_artificial_intelligence_companies_on_data_worker_labor_conditions_-_091323pdf1.pdf
- https://techcrunch.com/2023/08/23/meta-and-moderators-agree-to-mediation/
- https://x.com/mercymutemi/status/1678984336996028416?s=46
- https://partnershiponai.org/wp-content/uploads/2022/11/case-study_deepmind.pdf
- https://partnershiponai.org/wp-content/uploads/2021/08/PAI-Responsible-Sourcing-of-Data-Enrichment-Services.pdf
- https://www.fairtrials.org/app/uploads/2022/05/Civil-society-reacts-to-EP-AI-Act-draft-report_FINAL.pdf
- https://freedomhouse.org/report/freedom-net/2023/repressive-power-artificial-intelligence
- https://www.ftc.gov/system/files/ftc_gov/pdf/creative-economy-and-generative-ai-transcript-october-4-2023.pdf
- https://fair.work/wp-content/uploads/sites/17/2022/12/AI-for-fair-work-report-edited.pdf
- https://artificialintelligenceact.eu/the-act/
- https://perma.cc/X2WX-E592
- https://github.com/stanford-crfm/fmti/
- https://docs.ai21.com/docs/jurassic-2-models
- https://docs.ai21.com/docs/responsible-use
- https://uploads-ssl.webflow.com/60fd4503684b466578c0d307/61138924626a6981ee09caf6_jurassic_tech_paper.pdf
- https://www.ai21.com/blog/introducing-j2
- https://docs.ai21.com/docs/responsible-use#usage-guidelines
- https://studio.ai21.com/terms-of-use
- https://studio.ai21.com/privacy-policy
- https://docs.ai21.com/changelog
- https://aws.amazon.com/bedrock/titan/
- https://docs.aws.amazon.com/pdfs/bedrock/latest/APIReference/bedrock-api.pdf#API_ListFoundationModels
- https://aws.amazon.com/aup/
- https://legal.anthropic.com/#aup
- https://vault.pactsafe.io/s/9f502c93-cb5c-4571-b205-1e479da61794/legal.html#aup
- https://console.anthropic.com/docs/api/supported-regions
- https://legal.anthropic.com/#terms
- https://legal.anthropic.com/#privacy
- https://docs.anthropic.com/claude/docs
- https://www.anthropic.com/index/claude-2
- https://www.anthropic.com/earlyaccess
- https://www-files.anthropic.com/production/images/Model-Card-Claude-2.pdf
- https://www.anthropic.com/index/frontier-threats-red-teaming-for-ai-safety
- https://docs.cohere.com/docs/
- https://cohere.com/security
- https://dashboard.cohere.ai/playground/generate
- https://cohere.com/terms-of-use
- https://cloud.google.com/blog/products/ai-machine-learning/accelerating-language-model-training-with-cohere-and-google-cloud-tpus
- https://cohere.com/data-usage-policy
- https://cohere.com/privacy
- https://cohere-inc.secureframetrust.com/
- https://ai.google/static/documents/palm2techreport.pdf
- https://developers.generativeai.google/models/language
- https://policies.google.com/terms/generative-ai/use-policy
- https://developers.generativeai.google/guide/safety_guidance
- https://developers.generativeai.google/products/palm
- https://developers.generativeai.google/available_regions
- https://developers.generativeai.google/terms#content_license_and_data_use
- https://arxiv.org/abs/2211.01786
- https://huggingface.co/docs/transformers/model_doc/bloom
- https://huggingface.co/bigscience/bloom
- https://arxiv.org/abs/2303.03915
- https://arxiv.org/abs/2211.05100
- https://proceedings.neurips.cc/paper_files/paper/2022/file/ce9e92e3de2372a4b93353eb7f3dc0bd-Paper-Datasets_and_Benchmarks.pdf
- https://inflection.ai/assets/Inflection-1.pdf
- https://inflection.ai/inflection-1
- https://inflection.ai/assets/MMLU-Examples.pdf
- https://heypi.com/policy#privacy
- https://arxiv.org/pdf/2307.09288.pdf
- https://github.com/facebookresearch/llama/blob/main/MODEL_CARD.md
- https://openai.com/research/gpt-4
- https://openai.com/policies/usage-policies
- https://openai.com/form/chat-model-feedback
- https://platform.openai.com/docs
- https://openai.com/customer-stories
- https://status.openai.com/
- https://openai.com/policies/terms-of-use
- https://cdn.openai.com/policies/employee-data-privacy-notice.pdf
- https://cdn.openai.com/papers/gpt-4-system-card.pdf
- https://arxiv.org/pdf/2303.08774.pdf
- https://openai.com/research/triton
- https://openai.com/pricing
- https://platform.openai.com/docs/deprecations
- https://openai.com/waitlist/gpt-4-api
- https://openai.com/our-structure
- https://openai.com/api-data-privacy
- https://huggingface.co/stabilityai/stable-diffusion-2
- https://openreview.net/forum?id=M3Y74vmsMcY
- https://huggingface.co/terms-of-service
- https://huggingface.co/stabilityai/stable-diffusion-2/blob/main/LICENSE-MODEL
- https://platform.stability.ai/legal/terms-of-service
- https://stability.ai/use-policy