グラフ学習カンファレンスの調査からのインサイト

機械学習のカンファレンスがどんどん大きくなってきて、提出物のレビュー方法も複雑になってるよね。これらのカンファレンスの運営方法を理解するために、さまざまな参加者の意見を集めるために、最初の「Learning on Graphs」カンファレンスで調査が行われたんだ。

このカンファレンスは2022年12月9日から12日まで開催されて、グラフ学習の研究のための重要な集まりを作ることが目的だった。分野の専門家のアドバイスに基づいて、高品質なレビューを提供することに焦点を当ててたよ。レビューのプロセスを改善するために、3つの主要な戦略が実施されたんだ：

1. トップレビュアーへの金銭的報酬。
2. 他のカンファレンスに比べて、各レビュアーに割り当てられる論文の数が少ない。
3. コミュニティの参加を促す透明性と質の確保。

調査の著者たちは、これらの戦略がうまくいっているかを確認したいと思ってた。大規模な調査が、著者、レビュアー、エリアチェアの体験に関する洞察を集めるのに役立つだろうと考えたんだ。多くのカンファレンスが調査を行うけど、実際に運営方法に変化をもたらすことは少ないんだよね。

この報告書の目的は、コミュニティがこれらの体験を振り返り、透明性を向上させて、既存のプロセスを再評価することを促すことだよ。研究コミュニティが成長する中で、カンファレンスの運営方法も適応していかなきゃいけない。過去の方法を現在の大きなグループに適用することはできないんだ。

#関連作業

NeurIPS 2021のような他のカンファレンスも、レビューのプロセスを評価するために調査を行っていて、問題を浮き彫りにして、著者が拒否されてもあまり落ち込まないように促してる。しかし、大きなカンファレンスは、重要な変更を実施するのが難しいんだ。なぜなら、プログラム委員会が毎年変わるので、知識の移転が難しくなるんだ。

対照的に、「Learning on Graphs」カンファレンスは小規模で新しいから、判断の一貫性を維持しやすいんだ。著者たちは、彼らの発見が他のカンファレンスにも自分たちのプロセスを批判的に見直すインスピレーションになることを期待してるよ。

#調査の概要

カンファレンスでの体験を理解するために、2022年の11月下旬から2023年の2月中旬にかけて、OpenReviewを通じて登録された全著者、レビュアー、エリアチェアに調査が送られたんだ。調査は主に参加者が意見を表現できる選択肢を持った閉じた質問を使ったよ。

回答データと分析方法は透明性を確保するために公開された。集められたフィードバックは、カンファレンスがどれだけ機能しているかを評価し、改善点を浮き彫りにするのに役立つよ。

#サンプル構成

調査は多数の活発な提出物に配布され、多くの参加者から回答が得られた。結果は、多くの著者、レビュアー、エリアチェアが自分の考えや体験を共有するために時間をかけたことを示しているよ。

#著者への質問

全体的に、ほとんどの著者がカンファレンスと受けたレビューに満足していることを報告した。ただ、著者がレビューに応じて反論できる段階に関しては複雑な気持ちで、でもポジティブな傾向があったみたい。

著者たちは、レビューの質が同等のカンファレンスで見られる基準を満たしているかそれを超えていると感じてた。初回のカンファレンスだったから、これはレビューの質が確保されていることを示す注目すべき結果だよ。多くの著者は、このカンファレンスでの全体的な体験が他のカンファレンスよりも良かったと感じていた。

#レビュアーへの質問

レビュアーたちは、このカンファレンスに参加する主な動機はトピックに対する興味だったって報告してた。また、良いレビューに対する金銭的報酬を評価して、 workload（仕事量）は管理可能だと感じてた。

ほとんどのレビュアーはレビューのプロセスと反論段階に満足していて、他の確立されたカンファレンスでの経験と同等だと言ってた。レビュアーたちは、他のイベントで通常直面する workload よりも少ないと感じていたよ。

#エリアチェアへの質問

参加したエリアチェアの数は少なかったけど、フィードバックを提供した人たちは全体的にレビュー体験に満足していると感じてた。彼らも他のカンファレンスに比べて workload が管理可能だと思ってたよ。

#一般的なフィードバック

参加者は、カンファレンスの現状について話し合ったり、自由形式のフィードバックを共有するオプションがあった。多くの人がレビュアーともっとやり取りする時間を望んでいて、良いレビュー文化が必要だと提案してた。一部の人は、レビュアーからの要求が不適切だったり範囲外に見えることについて心配してた。

いくつかの回答者は、コミュニティをさらにプロセスに関与させるために、提出物への公開コメントを許可することを提案してた。また、他のカンファレンスと比較して良い体験があったことを強調するコメントもあったよ。

#拡張要旨トラック

このカンファレンスには、拡張要旨のためのユニークなトラックがあった。参加者はそれについて複雑な感情を持ってた。多くの人が早期または予備的な作品を提出して迅速なフィードバックを受け取る機会を評価してたけど、質に対するギャップについて心配してた。レビュアーはこのトラックに高い基準を持っているようで、受け入れが難しかったみたい。

#結論と今後の方向性

「Learning on Graphs」カンファレンスに対する初期の反応は、ポジティブな関与とプロセスのさらなる改善への意欲を示しているよ。多くの参加者が、過去のカンファレンスでの経験の中で、自分たちの体験が最も良かったと感じていて、一部は特に高いレビュアーの基準に気づいてた。

でも、著者とレビュアーの間のコミュニケーションに関連する改善が必要な点もあった。一部の論文にはフィードバックが全くなかったことがあって、より良い関与の機会があることを示唆しているよ。

今後、カンファレンスの主催者はレビュアーの審査プロセスを維持し、フィードバックの質を高く保つ計画を立てている。彼らはまた、レビューのプロセスをもっと注意深く監視して、コミュニケーションの断絶を早期に特定し解決したいと考えているよ。

レビュアーの評判システムの概念も提案されていて、これは責任を明確にし、レビュアーの良い実践を促進する方法として考えられている。これには複雑さがあるけど、コミュニティ全体でレビューの質を向上させることに大きな利益があるかもしれない。

初回のカンファレンスからのフィードバックは、次のエディション以降の基礎となり、持続的な課題に対する解決策を見つけつつ、研究者のための支援的なコミュニティを育むことを期待しているよ。カンファレンスが成長する中で、全ての参加者-著者、レビュアー、エリアチェア-に利益をもたらすようにプロセスを洗練させ、向上させていくつもりだよ。