小さい言語モデルを活用した自動採点

最近の研究では、生成型言語モデル（GLM）が自動テキスト採点（ATS）に役立つかどうかを調べてるけど、ほとんどは高価な専用モデルをAPI経由で使うことに焦点を当ててるんだ。これが透明性やセキュリティの問題を引き起こして、特定のニーズに合わせたカスタマイズが難しくなってる。幸いにも、新しい小型のオープンソースモデルは特別なハードウェアなしでも普通のコンピュータで動かせるから、この記事ではこうした小規模なGLMが教育の現場で自動エッセイ採点やフィードバックを提供するためにどう使えるかを話すよ。

#生成型言語モデルの台頭

GPT-4みたいな生成型言語モデルは、言語や論理に関わる様々なタスクで良いパフォーマンスを示してる。教育分野では、エッセイの採点、学生へのフィードバック、さらにはチュータリングなどのタスクでテストされてる。でも、潜在能力がある一方で、広範な使用が難しい大きな欠点もある。たとえば、いくつかのモデルは敏感な情報を暴露するように操作できるし、大規模なモデルの訓練には莫大なコストとリソースが必要なんだ。

現在のエッセイ採点ツールのほとんどは大規模なモデルに依存していて、必要なハードウェアがない多くの教育者や研究者には実用的じゃない。だからこそ、標準のオフィスコンピュータで動く小型のオープンソースGLMに目を向ける必要があるんだ。

#自動テキスト採点の説明

自動エッセイ採点（AES）や自動短答式採点（ASAS）は1960年代から研究されてきた分野で、うまくいけば信頼性の高いスコアを提供できる。AESとASASは両方ともテキストを分類するけど、測定するスキルが異なり、異なる方法が必要かもしれない。たとえば、エッセイのルーブリックは通常、組織、論点の質、文法、スペルを評価するのに対して、短答式の採点はもっと直接的な知識や理解に焦点を当てる。

スコアリングにはさまざまな手法が使われてきたけど、初期の手法は言葉の頻度や言語特徴に関するルールを分析することに基づいてた。より高度なアプローチでは、ニューラルネットワークやアテンションメカニズムに目を向けている。BERTのような新しいトランスフォーマーベースのモデルは、エッセイや短答式の採点で確立された存在になってる。最近では、ChatGPTのようなGLMが膨大なテキストで訓練され、さまざまなタスクをこなせるって注目を集めてる。

#大規模モデルに関する懸念

自動採点のためにGLMを使おうとした試みのほとんどは、大規模な専用モデルに集中してるけど、いくつかの懸念が出てきてる。まず、これらのモデルは外部APIを通じてアクセスされると、敏感な学生情報を保存することになり、セキュリティリスクがあるんだ。次に、内部の動作が謎であることが多く、スコアの根拠を説明するのが難しい。最後に、これらのモデルは大量の計算リソースを必要とするため、特化したタスクには実用的じゃない。

これらの問題に応じて、この記事では教育向けに設計された小型のオープンソースGLMに注目してる。AESとASASに焦点を当てて、どのようにこれらのモデルを効率的にファインチューニングして、定義された基準に基づいて質の高いスコアや説明を生成できるかを考えるよ。

#研究の目標

この研究の目標は次の通り：

1. 自動エッセイ採点と短答式採点のために最近リリースされた小型オープンソースGLMをファインチューニングすること。
2. これらのモデルのパフォーマンスを現行の主要なベンチマークと比較すること。
3. モデルにルーブリックに基づいてスコアを説明させ、そのフィードバックを質的に分析すること。

#研究の概要

まず、ATSの文脈とGLMのアーキテクチャを見直す。次に、使用したデータセット、モデル、プロンプト手法、訓練アプローチについて話すよ。結果は自動採点とフィードバック生成の2つの主なセクションに分ける。最後に、発見の示唆や今後の研究の方向性について議論する。透明性を保つために、モデルが生成したスコアとフィードバックをオープンに共有するつもり。

#自動テキスト採点の理解

自動採点は1960年代から進化を続けてきて、適切に監視されると信頼性のある結果を出せる。エッセイと短答式の採点システムは異なるスキルを評価する。エッセイルーブリックは通常、組織や論点の質といった側面を考慮し、短答式のルーブリックは具体的な知識に焦点を当てる。

これまでの数年で、AESとASASにはさまざまなアプローチが適用されてきた。"Bag of Words"法という初期のアプローチは、言語特徴と頻度ベースの分析に依存してた。機械学習が進むにつれて、研究者たちはリカレントモデルやアテンションメカニズムを含むニューラルネットワークモデルを採点に適用し始めた。特にBERTなどのトランスフォーマーモデルの導入は、この分野で重要なマイルストーンになってる。

しかし、最近の自動採点の努力は大規模な専用モデルに集中していて、教育現場には課題がある。一つは、外部APIに依存することで学生データが危険にさらされる。さらに、これらのモデルの内部にアクセスできないことは説明可能性を制限する。

#小型モデルへのシフト

これらの制限に対処するために、研究者たちは小型のオープンソースモデルに目を向けてる。これらの小型モデルは、通常8GB未満のバージョンで提供され、一般的な消費者ハードウェアで動くことができる。これにより、研究者はGLMを試験し、教育の文脈でその効果をテストできる。

小型モデルのパフォーマンスは大きなモデルに劣っているわけじゃない。たとえ大きなモデルが採点のリーダーボードで優位に立つことが多くても、多くの小型モデルは似たようなアーキテクチャを共有し、驚くほど良いパフォーマンスを発揮することがある。

#小型モデルの訓練

大規模モデルの訓練には、特にメモリの制限に関する大きなエンジニアリングの課題がある。高度な最適化手法はメモリへの負荷を増やすため、大規模モデルのファインチューニングは煩雑になる。これに対処するために、研究者たちは量子化やLow-Rank Adapters（LoRA）などのパラメータ効率の良いファインチューニング手法を使ってる。

量子化は、パラメータを低い精度の形式で保存することでメモリの使用量を減少させる。これにより、パフォーマンスを大きく損なうことなく substantial savings が可能になる。LoRAはモデルの特定の層だけを更新することに集中するため、トレーニングが必要なパラメータの数を減少させつつ、モデル全体の効率を保つことができる。

#データセットとスコアリングのルーブリック

この研究では、自動学生評価賞（ASAP）からデータを使用した。このデータには、人間のアノテーターによって採点されたエッセイや短答式の回答が含まれてる。AESデータセットは、いくつかのトピックをカバーした約13,000のエッセイを含んでいて、SASデータセットは17,000以上の短答式回答から成ってる。それぞれの回答には、評価の方法を明確にする詳細なスコアリングルーブリックが付いてる。

#評価指標

モデルのパフォーマンスを測定するために、Quadratic Weighted Kappa（QWK）を使ってる。これは人間の評価者間の合意のレベルを評価するもの。QWKが高いほど、スコアの正確性が高いことを示す。

#モデルの選定と特徴

この研究では、一般的な消費者ハードウェアで良好に機能する4つの特定モデルに焦点を当てた。選定されたモデルは、Llama-3、Mistral、Gemma-1.1、Phi-3。各モデルは個別の項目で訓練され、合計で40の訓練モデルができた。

#モデルの訓練

モデルはメモリフットプリントを減らすために量子化され、効率的なファインチューニングを確保するためにLoRAを使用して訓練された。各モデルの要件に応じて学習率を設定し、スコアのパフォーマンスに基づいて早期停止基準を導入した。

#スコアとフィードバックの取得

スコアを取得するために、最大スコア、ルーブリック、学生の回答に関する詳細を提供する特定のテンプレートを使用した。スコアを生成した後、モデルにルーブリックに基づいてフィードバックを与えるように促した。フィードバックテンプレートは、エッセイ採点と短答式採点の間で若干の違いがあった。

#フィードバックの質の分析

各モデルのフィードバックの質を理解するために、人間の評価者と一致する学生の回答を選んだ。エッセイと短答式の回答を分析して、モデルが生成したフィードバックを評価した。

基づいているアプローチを用いて、各モデルが提供したフィードバックを注意深くレビューし、説明におけるトレンドやパターンに注目した。分析は2つの段階で行われ、まずは回答を読み、次にそのノートを一般的なパターンに要約した。

#自動エッセイ採点の結果

結果は、ファインチューニングされたモデルがさまざまなベンチマークに対して良好にパフォーマンスを発揮し、いくつかの伝統的な採点方法をも上回っていることを示した。モデルは最高スコアには達しなかったが、すでに確立された多くのベンチマークを超えた。

#自動短答式採点の結果

エッセイ採点の結果と同様に、短答式採点の発見も、パフォーマンスがいくつかのモデルと同等であることを示したが、全体的に優れていたわけではなかった。それでも、特定の項目で期待できるモデルもあった。

#エッセイ採点のフィードバック

エッセイ採点に関するフィードバックは有益で、いくつかのモデルは他のモデルよりも明確な説明を提供していた。モデルが時々自己重复したり、外部情報に苦しんだりすることはあったけど、フィードバックの全体的な質はまだ好ましかった。

#短答式採点のフィードバック

短答式採点のフィードバックは、モデルによって異なった。いくつかは満足のいく説明を提供したが、他のいくつかは明確さや関連性に苦労した。小型モデルでも、一貫したフィードバック生成の質向上が必要であることが明らかになった。

#結論

この研究では、小型のオープンソースGLMをファインチューニングして、エッセイや短答式を効果的に採点し、適切なフィードバックを生成することが可能であることを示した。この方法は、大きなモデルの技術的な煩わしさなしに迅速に利用できる。

しかし、初期の結果は有望だけど、生成されたフィードバックの妥当性と信頼性に関するさらなる調査が必要だ。調査結果は、効果的な教育ツールを作るために教育者や研究者との協力が重要であることを強調している。

議論されたモデルのパフォーマンスは、小型モデルが教育評価のための有効な選択肢になり得ることを示していて、教師や学生のニーズにしっかり合った安全でアクセスしやすく、効率的なソリューションを提供してくれる。