機械学習の責任ある研究の確保
機械学習研究における倫理的な実践を促進するためのガイド。
― 1 分で読む
目次
チェックリストは機械学習における責任ある研究を促進することを目指してるよ。再現性、透明性、研究倫理、そして社会への影響の理解に焦点を当ててる。チェックリストを含まない論文はすぐに却下されるからね。チェックリストは参考文献や任意の補足資料の後に置かれなきゃいけないし、ページ制限には含まれないよ。
チェックリストの質問への回答
各質問には「はい」、「いいえ」、または「該当なし」と答えられるよ。「該当なし」って答えるのは、その質問がその論文に関係ないか、必要な情報がないことを意味するよ。答えた後には、1~2文で簡単な理由を付け加えなきゃいけないから、たとえ「該当なし」でもね。
これらの質問への回答は論文提出にとって重要で、査読者や倫理審査者にも見えるからね。最終的な修正の際にはチェックリストを含める必要があり、論文と一緒に公開されるよ。
査読者は論文を評価する際にチェックリストを考慮するから、「はい」と答える方が「いいえ」より良いけど、「いいえ」と答える場合は、例えば「計算コストが高いためエラーバーは報告されていない」といった良い理由を提示すれば大丈夫だよ。「該当なし」や「いいえ」と答えても自動的に却下されるわけじゃないから、最善の判断をして詳細を提供してね。
論文の主張について
要約と導入部分では、論文での主な主張を明確に表現する必要があるよ。自分が何を貢献したか、そして重要な前提や制限についてもね。「いいえ」や「該当なし」と答えると、査読者に好意的に見てもらえないかもしれない。主張は理論と実際の結果と一致して、他の状況で結果がどれくらい期待できるかを示さなきゃいけないよ。
野心的な目標を動機として含めてもいいけど、その目標が論文内で達成されていないことは明確にしてね。「該当なし」と答えると、その論文には制限がないことを意味するよ。「いいえ」と答えると、制限はあるけど議論されていないことになるから、論文に「制限」セクションを作ることをお勧めするよ。
前提と堅牢性
論文では強い前提条件について言及し、その前提が満たされない場合に結果がどうなるかを話さなきゃいけないよ。例えば、結果が特定の条件に依存している場合、それについて議論する必要があるね。さらに、主張がデータセットや実験によって制限される可能性についても考慮してみて。
また、アプローチの性能に影響を与える要因についても考えるべきだよ。例えば、画像の質が悪いとか、照明が弱いとシステムがうまくいかないかもしれない。提案された方法の効率についても議論して、異なるデータセットのサイズで性能がどう変わるかを話してみて。
倫理と社会的影響
制限について正直でいることが大事だよ。査読者は欠点について透明であることに罰を与えないからね。もしあなたの研究が社会的影響を持たないと示したら、はっきりとした説明を提供しなきゃいけない。
技術の誤用、公平性の問題、プライバシーの懸念など、可能性のある悪影響について議論してみて。リスクがある場合は、使用を監視したり、有害な技術へのアクセスを制限するなどの緩和策を考慮しているかを言及してね。
コードとデータのアクセス
もし論文に実験が含まれていないなら、「該当なし」と答えてもいいけど、実験が含まれている場合は、他の人があなたの結果を再現できる手段を提供することが重要だよ。これはコードやデータを共有するか、結果を再現するための詳しい指示を提供することでできるよ。
生データ、前処理データ、生成データにどうアクセスできるかを示すべきだね。もし一部の実験が再現可能でなく、その理由があるなら、それについても記載すべきだよ。コードやデータを公開することが奨励されているけど、貢献の鍵でない限り、公開しなくても大丈夫だよ。
実験設定
実験を含む論文では、読者が結果を理解できるように実験設定を十分に詳しく提示しなきゃいけないよ。もし論文が実験を含まないなら「該当なし」と答えて。実験が含まれているなら、必要な詳細をメインの論文内か補足資料に提供してね。
統計的有意性
もし論文が実験を含んでいるなら、結果にエラーバーや信頼区間、統計的有意性のテストがあるかどうかを示す必要があるよ。エラーバーがキャッチする変動の内容と、どうやって計算したかを説明して。プロセスに関わる前提条件についても明確にしてね。
コンピュータリソース
使用したコンピューティングリソースの種類(CPU、GPU、クラウドサービスなど)を詳述しなきゃいけないよ。各実験に必要なコンピューティングパワーの量と、研究プロジェクト全体に必要な合計を提供してね。もし予備実験が論文に報告されているものよりも多くの計算を必要とした場合、それについても言及して。
倫理的考慮
自分の研究に関する倫理規範を見直してみてね。規範に従っていないなら、その理由を説明しなきゃいけないよ。もし研究が人を含むなら、必要な承認(例えば、倫理審査委員会からの承認)を受けたかどうかを述べること。
データセットと資産
もしあなたの論文が既存のデータセットを使用しているなら、元のソースにクレジットを与え、バージョンを指定する必要があるよ。使用した各データセットや資産のライセンス条件も示してね。新しいデータセットを作成した場合は、該当する場合は同意を取得した方法について議論して。
クラウドソーシングと人間の被験者
もしあなたの研究がクラウドソーシングや人間の被験者を含むなら、これについて詳細な情報をコアの論文で提供して。貢献に対して労働者が公正に報酬を受け取るようにしてね。
最後の考え
このチェックリストを完成させるときは、徹底的で正直でいることが重要だよ。査読者は透明性を重視するから、責任ある研究慣行を確保するための努力を評価してくれるよ。主張がしっかり裏付けられ、制限が明確に認められていることを目指してね。提出物は分かりやすく、他の人があなたの仕事を理解し再現できるように十分な詳細を提供してね。
タイトル: Policy Prototyping for LLMs: Pluralistic Alignment via Interactive and Collaborative Policymaking
概要: Emerging efforts in AI alignment seek to broaden participation in shaping model behavior by eliciting and integrating collective input into a policy for model finetuning. While pluralistic, these processes are often linear and do not allow participating stakeholders to confirm whether potential outcomes of their contributions are indeed consistent with their intentions. Design prototyping has long advocated for rapid iteration using tight feedback loops of ideation, experimentation, and evaluation to mitigate these issues. We thus propose policy prototyping for LLMs, a new process that draws inspiration from prototyping practices to enable stakeholders to collaboratively and interactively draft LLM policies. Through learnings from a real-world LLM policymaking initiative at an industrial AI lab, we motivate our approach and characterize policy prototyping with four guiding principles. Because policy prototyping emphasizes a contrasting set of priorities compared to previous approaches, we envision our approach to be a valuable addition to the methodological repertoire for pluralistic alignment.
著者: K. J. Kevin Feng, Inyoung Cheong, Quan Ze Chen, Amy X. Zhang
最終更新: Sep 13, 2024
言語: English
ソースURL: https://arxiv.org/abs/2409.08622
ソースPDF: https://arxiv.org/pdf/2409.08622
ライセンス: https://creativecommons.org/licenses/by/4.0/
変更点: この要約はAIの助けを借りて作成されており、不正確な場合があります。正確な情報については、ここにリンクされている元のソース文書を参照してください。
オープンアクセスの相互運用性を利用させていただいた arxiv に感謝します。