BLUEXの紹介：ポルトガル語モデル用のデータセット

言語モデル（LMs）は、テキストの翻訳や質問への回答など、さまざまな言語タスクを処理するためのツールだよ。最近、多くの研究がこれらのモデルを標準化された試験でテストすることに焦点を当てているんだ。英語や他の言語で多くの研究が行われているのに対し、ポルトガル語の評価はあまり多くないのが現状。これは、ポルトガル語の質の高いデータセットが不足していることが大きな理由で、研究者たちがこの言語でLMsがどれだけ機能するかを評価するのが難しいんだ。

このギャップを埋めるために、BLUEXが作られたよ。このデータセットは、ブラジルのトップ大学であるUNICAMPとUSPの入試問題に基づいているんだ。これらの試験からの問題に加えて、さまざまな科目でLMsをテストするのに役立つ情報も含まれているよ。それに加えて、BLUEXには、多くの人気のあるLMsが見たことがないかもしれない新しい試験のセットもあるんだ。このデータセットは、各質問で画像がどこにあるかの詳細も提供していて、モデルが言語や画像を理解し、推論する能力を向上させるのに役立つリソースになっているよ。

#背景

最近、言語モデルは多くの言語関連の課題で有望な結果を示しているんだ。これには、テキストの分類、言語の翻訳、新しいテキストの生成などのタスクが含まれるよ。標準化されたテストでのパフォーマンスは特に注目されていて、これらの試験には特定の知識や論理的思考が必要な難しい質問が多く含まれているんだ。例えば、GPT-4を使ったテストでは、このモデルが大学院レベルの評価で人間の受験者に近いレベルの成績を出したことが確認されているよ。

でも、ポルトガル語の言語モデルのテストはあまり行われていないんだ。これは、この言語で入手できるデータセットが限られているためでもあるよ。質の高いデータセットがないことが、研究者がポルトガル語で機能するモデルを開発したり評価したりするのを難しくしているんだ。そこで、BLUEXが設立され、ブラジルの主要大学の入試問題が集められたんだ。このデータセットは、高校レベルの問題の豊富なソースを提供していて、さまざまな科目のノートや、それらを正確に答えるために必要な特定のスキルも含まれているよ。

#データセットの概要

BLUEXは、2018年から2023年にかけてUNICAMPとUSPで出題された1,000以上の選択肢問題で構成されているんだ。このデータセットを作成するプロセスでは、問題とその選択肢、関連する画像を自動的に抽出し、各項目を手動でチェックしてエラーを修正し、追加の詳細を加えたんだ。これには、質問内の画像がどこに位置しているかの注釈も含まれているよ。

#注釈の意味

データセットには、各質問が求めるものを理解するための詳細な注釈が付いているんだ。以下は含まれている主要な注釈だよ：

• 事前知識（PRK）: 質問自体には含まれない知識、例えば特定の著者や特定の公式に対する理解が必要かどうかを示す。
• テキスト理解（TU）: 質問に答えるためにテキストを理解する必要があるかどうかを示す。
• 画像理解（IU）: 質問に答えるために画像の意味が重要かどうかを示す。すべての画像を含む質問がこの理解を必要とするわけではないよ。
• 数学的推論（MR）: 質問に数学のスキル、例えば計算が必要かどうかを示す。
• 多言語（ML）: 質問に複数の言語の知識が必要かどうかを示す。例えば、ポルトガル語話者の中で英語のスキルをテストする場合など。
• ブラジルの知識（BK）: 質問がブラジルの文化、歴史、地理に関係しているかどうかを示す。
• 科目: 質問に関連するトピック、例えば地理や物理などをリストアップ。
• 関連画像: 質問に関連する画像のリストを提供。
• 代替タイプ: 答えの選択肢がテキストか画像かを示す。

これらの注釈は、研究者が言語モデルがポルトガル語でどれだけ理解し推論できるかを評価するのに役立つよ。

#画像の位置

試験の多くの問題は画像を理解する必要があって、テキストと画像の両方をうまく扱えるモデルが求められているんだ。現在、これを効果的に実行できるモデルはかなり少ないけど、ここでは積極的に研究が行われているよ。だから、BLUEXは将来のモデルが両方の情報を扱う能力を評価するための重要なツールになるんだ。

#データセットの分配

BLUEXには、高校教育で一般的な多くの科目からの問題が含まれているよ。これには数学、物理、化学、生物、歴史、地理、英語、哲学、ポルトガル語が含まれていて、複数の科目をカバーする問題もあるんだ。

ほとんどの問題は特定の知識とテキストを理解する能力を必要としているよ。約58%の問題には画像が含まれていないから、画像の複雑さが加わらずにモデルを評価するのが簡単になるんだ。

#パフォーマンスの評価

BLUEXを使って言語モデルのパフォーマンスを確認するために、さまざまなサイズと複雑さのLMsをテストしたんだ。テストでは、モデルに1つの例題を与え、データセットから異なる質問に答えさせたよ。例題とテストした質問は同じ大学からだけど、異なる年のものなんだ。

この評価では、画像を含む質問は除外された。使用されたモデルはテキストしか処理できなかったからだよ。約638の質問がテストに利用されていて、データセットの約60%にあたるんだ。

パフォーマンス結果は、さまざまなモデルがこの試験を受けた実際の学生と比べてどれだけうまくいったかを示しているよ。また、モデルが特定のカテゴリー、例えば数学的推論やブラジルの知識でどのようにパフォーマンスを発揮したかについても洞察を提供しているんだ。

小さいモデルの中では、ポルトガル語に特化して訓練された「サビア」というモデルが他のモデルよりも良い成績を収めていて、学生たちが達成した平均スコアに近い成績を出しているよ。大きいモデルの中では、LLaMA 65Bが他を上回り、GPT-3.5-Turboと似たパフォーマンスレベルを達成したんだ。GPT-4が全体で最も良いパフォーマンスを示したけど、最も競争が激しい医学部の合格に必要な平均スコアには届かなかったよ。

#パフォーマンス分析

モデルが異なるタイプの質問にどのように対応したかを深く見ると、ほとんどのモデルが数学的推論を必要とする質問で苦戦していることがわかったんだ。GPT-4でも、最高のパフォーマンスを誇るにもかかわらず、こうした質問で正解率は44%に留まったよ。ブラジルの知識に関する質問では、サビアが目立っていて、ポルトガル語の追加トレーニングのおかげで小さいモデルの中で他を上回ったんだ。

結果は、モデルのパフォーマンスに大きな変動が見られなかったことを示しているけど、2023年にはすべてのモデルが少しだけ良いパフォーマンスを示していて、最近の試験が少し簡単だった可能性を示唆しているよ。2023年の試験は最近行われたばかりだから、モデルがこれらの質問を暗記している可能性は低くて、学んだことを効果的に適用していることを示しているんだ。

#結論

この研究は、ポルトガル語の大学入試テストにおける言語モデルのパフォーマンスを評価するための新しいリソースとしてBLUEXを紹介したよ。さまざまな能力に関する詳細な注釈が付けられているこのデータセットは、言語モデルの能力を評価し向上させたい研究者にとって貴重なツールになっているんだ。

今後、多くの研究の方向性が考えられるよ。例えば、プロンプトでより多くの例を使用することでモデルのパフォーマンスが向上するかどうかをテストするのは面白いだろうし、テキストと画像の両方を処理できるモデルをBLUEXを使って評価することで、これらのモデルが視覚情報とテキスト情報を統合して高校レベルの質問に取り組む能力を確認することができるんだ。