SyllabusQAの紹介: コース物流の新しいデータセット

自動化されたティーチングアシスタントやチャットボットは、特にコースのロジスティクスに関する繰り返しの質問について、教師が仕事を管理するのを助けることができる。これは学生にとって重要だけど、インストラクターには面倒なこともある。ただ、プライバシーの問題で、研究用のデータセットはあまりないのが現状。

そこで、SyllabusQAを紹介するよ。これは、いろんな専攻のリアルなコースシラバスを含む無料のデータセット。コースのロジスティクスに関する質問と回答が入ってて、種類やフォーマットが色々ある。ロジスティクス関連の質問には試験日などの重要な情報が含まれてることが多いから、回答の正確性を確認するのが大切。大規模な言語モデルを使って、これらの質問にどれくらい正確に答えられるかを試してる。

これらのモデルはテキストの類似性に関する従来の基準では良い結果を出すけど、正確な事実を提供する点では人間にはまだ及ばない。教育分野では、AIが学生に即時フィードバックを提供したり、チュータリングセッションを行ったりして期待が高まっている。主なアイデアは、多くの学生を同時に助けることができるバーチャルティーチングアシスタントを作ること。繰り返しのタスクを引き受けることで、教師は個別のフィードバックや新しいコンテンツの開発に集中できる。

AIが役立つのはロジスティクス関連の質問への回答。これらはしばしばシラバスに載ってるクラスの詳細に関する質問。オンラインコースでの自動質問応答（QA）には、ルールベースのシステムから完全なテキスト生成まで、色々な方法が使われてきた。最近では、大規模な言語モデルが古い方法と比べて、回答の質と範囲を改善できる可能性を示している。ただ、プライバシーの問題からほとんどの開発はプライベートデータを使って行われていて、もっと多くの研究者がこの分野に貢献するのを制限している。

QAを評価する際、特にロジスティクスに関しては、回答の正確性がテキストの類似性以上に重要だ。例えば、「最終試験は12月15日」と答えた場合、正しい日付が「12月14日」だったら、この事実の誤りは学生にとって厄介だ。

人間のインストラクターは通常、余計な情報なしでストレートな回答をする。だから、AIが生成する回答は簡潔で正確であることが重要。今回は、コースのロジスティクス関連QAのためにSyllabusQAデータセットを紹介する。将来的なティーチングサポートの自動QA研究のベンチマークとなることを目指して、このデータセットを一般公開する予定だ。

#SyllabusQAデータセットの収集

SyllabusQAは、現在のデータセットで見られる限界に対処するために作った。

#ソースシラバス

このデータセットの主な素材は、QAペアの基盤となる匿名化されたコースシラバス。世界中の大学から独自のシラバスを集めて、学部生と大学院生の両方をカバーしてる。対象科目は科学、工学、人文科学、ビジネスなど多岐にわたる。

プライバシーを維持するために、インストラクターやティーチングアシスタントの識別可能な情報は削除した。各シラバスはページ数やフォーマットが異なり、リストや表、スケジュールが含まれている。この多様性がQAタスクを特に困難にしていて、パースや情報検索などの技術が必要になる。

#データセットの設計

学生がよくする質問のタイプをいろいろ含めるようにした。いくつかの質問カテゴリを用意し、各カテゴリにリアルな例を挙げてる：

• はい/いいえ: 簡単な「はい」か「いいえ」で答えられる質問、例えば「このクラスにラボセクションはある？」みたいな。
• 単一事実: シラバスから一つの明確な事実を必要とする質問、例えば「オフィスアワーは？」。
• 複数事実: 複数の事実を組み合わせて必要とする質問、例えば「このクラスで使うソフトウェアは？」。
• 単一推論: 一つの推論ステップが必要な質問、例えば「私はアドバンスバイオロジーを受講していないけど、このコースを受けてもいい？」。
• 複数推論: 複数の推論ステップが必要な質問、例えば「クラスを6週経って始めてもAを取れる？」。
• 要約: シラバスのいくつかのセクションから要約が必要な質問、例えば「参加点の計算方法を説明してくれる？」。
• 逆境的: 情報の不足で答えられない質問、例えば「Zoomでインストラクターに連絡できる？」。

SyllabusQAの質問は、回答がどこから来ているかに基づいてもカテゴリ分けできる：

• 明示的: シラバスに直接確認できる回答、はい/いいえ、単一事実、複数事実の種類。
• 暗示的: シラバスに基づいて推測と推論が必要な回答。
• 情報不足: 情報が不足しているために答えられない質問。

質問の種類の混合が複雑さを加えていて、特にシラバスに存在しない情報を作り出さない必要がある逆境的な質問が含まれる。

#アノテーションプロセス

このデータセットを作るために、明確なアノテーションプロセスに従った。アノテーターには、実際の教室体験に基づいてロジスティクスに関連した質問と回答をシミュレートしてもらった。彼らは様々なQAペアを書き、質問タイプ間の均等な分配を確保した。

始める前に、アノテーターにはタスクを理解する助けと多様性を促すためのチュートリアルが示された。各質問にはこのプロセスのための特定のガイドラインがあった。明示的な質問については、アノテーターが回答をサポートするためにシラバスからのスニペットを提供した。

推論が必要な質問では、最終的な回答に至るまでの思考プロセスをリストアップしてもらった。要約質問では、要約作成に使ったシラバスからの関連する部分を提供した。逆境的な質問では、単に情報不足のために答えられないと記載してもらった。

アノテーターには、少なくとも学士号を持ち、アメリカかカナダにいる広いグループを雇った。各アノテーターは、シラバスごとに最大限のQAペアを書くことが奨励された。生産したデータの質を確認し、不適切なQAペアをフィルタリングした。

#アノテーター間の合意の評価

自動QAシステムの開発をサポートするために、QAペア間で多様な言語を目指した。これにより、従来のテキストの類似性の尺度で評価した場合、彼らの合意は低くなる可能性がある。

この合意を評価するために、教育に詳しい専門のアノテーターにテストセットからの小さなサンプルの質問に対する回答を書いてもらった。標準的な指標を使う代わりに、専門家の回答とアノテーターの回答との間の重要な事実における合意に焦点を当てた。

重要な詳細には良い重複が見られたので、表面的な言語が異なっていても、核心的な情報は似ていることがわかった。

#基準回答の分析

アノテーターが提供した回答を確認し、正確性とリコールに焦点を当てた。正確性は回答の情報が関連するかどうかを確認し、リコールは正確に回答するために必要な全ての重要な情報が含まれているかをチェックする。

分析の結果、基準回答の重要な部分には高い正確性とリコールがあった。ただし、記憶のヒューマンエラーや曖昧なシラバスの詳細、明確でない回答など、改善が必要なポイントも見つかった。

#データセットの統計

SyllabusQAデータセットには、異なる質問タイプに均等に分かれた数千のQAペアが含まれている。データセットは、トレーニング、バリデーション、テストのグループに分けて、シラバスのオーバーラップがないようにしている。

また、同じシラバスから出た質問がどれだけ多様であったかも見た。低い類似性スコアは、質問の幅が広く実現できたことを示している。

#SyllabusQAと既存のデータセットの比較

SyllabusQAは、教育におけるコースロジスティクスに焦点を当てた最初の実際の公開データセットとして目立っている。既存のデータセットと比較して、SyllabusQAはより広い範囲をカバーしており、様々な質問タイプに対応するように設計されている。

#パフォーマンスベンチマーク

SyllabusQAで様々な強力なモデルをテストした。人気のモデルを使うことで結果を再現しやすくし、プライバシーの懸念も適切に対処できるようにした。ゼロショットプロンプトや、私たちのデータセットでのモデルのファインチューニングを含め、さまざまなアプローチを探った。

テストの結果、最良の方法はファインチューニングとリトリーバル・オーグメンテッド技術の組み合わせだった。モデルは表面的な類似性の観点からはそれなりに良いパフォーマンスを示したが、人間の回答と比べると事実の正確性では劣っていた。

#リトリーバル技術

リトリーバル技術を使うことで、モデルのパフォーマンスに顕著な差が見られた。あるシナリオでは、リトリーバル方法を組み合わせたモデルが、そうでないモデルよりもかなり良い結果を出した。これは、関連するシラバスの部分に焦点を当てることで、QA回答を改善する強い可能性を示唆している。

#モデルの課題

GPT-4のような最先端のモデルでも、SyllabusQAは難しいと感じた。推論が必要なより複雑な質問では、パフォーマンスは人間のアノテーターに近くなったが、単純な質問に関する事実の正確性では依然として苦労していた。

#チェーン・オブ・ソートアプローチ

チェーン・オブ・ソート戦略を使うことで、回答の正確性が向上する可能性が見えた。推論のステップを分けることで、特に複数のステップが必要な質問のパフォーマンスが改善されたが、簡単な質問にはあまり効果がなかった。

#将来の方向性

SyllabusQAに関する作業は、未来の研究のための多くの道を開く。研究者たちは質問のメタ情報を活用して、さらに良いQAシステムを開発できるかもしれない。もう一つの可能性は、回答の正確性に関する人間の評価を収集すること。

#倫理的考慮事項

データセットの多様性を確保するための措置を講じたが、完全な人口統計上の多様性を保証することはできないことを認識している。このデータセットは研究目的のために作られたもので、実際の教室で使用する前には慎重さが必要だ。

#結論

この作業では、コースのロジスティクスに関連する質問応答の豊富なソースであるSyllabusQAを紹介した。私たちはこのデータセットでいくつかの強力なモデルをベンチマークした。結果は改善の余地があることを示しているが、モデルのパフォーマンスと人間の正確性にはまだギャップがある。

このデータセットは、将来的な自動ティーチングアシスタントの構築に向けて有用なベンチマークとして機能することを目指している。今後は、正確性とデータの多様性の改善を探求し、こうしたツールの利点をより広いオーディエンスに届けることができれば良い。