チャートデータで言語モデルを評価する

私たちの研究では、ChartQAデータセットを使っていて、特にそのテストセットを利用してるよ。このテストセットには主に2つのタイプの質問があって、人間が作ったものとモデルが作ったものがあるんだ。625種類の異なるチャートがあって、人間によって生成された質問-回答ペアが合計1250あるんだ。モデルが作ったセットは987個のユニークなチャートがあって、これも1250の質問-回答ペアがあるよ。

このデータセットを少し変更してるんだ。私たちのバージョンでは、チャートには棒や線の横に正確な値を示すデータラベルがないんだ。代わりに、モデルはチャートを見ながら、棒の高さや軸のラベルみたいなヒントを使ってこれらの値を見つけなきゃならないんだ。これは、言語モデルの性能が明確なラベルに依存するのか、それとも視覚的な手がかりからも機能するのかをテストするためなんだ。このバージョンを作るためにMatplotlibというツールを使って、データラベルを取り除いて他の部分はそのままにしてるよ。1509枚のチャート画像を見た中で、1340枚はうまく修正されたけど、重要なメタデータが欠けてる169枚は使われなかったんだ。

#チャートによるファクトチェック

研究の別の部分では、ChartFCデータセットを使ったよ。このデータセットは、各エントリーに明確に言葉で表現された主張、関連するチャート画像、そしてそのチャートがその主張を「支持する」か「反証する」かを示すラベルがあるように設計されてるんだ。私たちは、このデータセットのテストセットにおける言語モデルを見ていて、主張を支持する885の例と、反証する706の例があるよ。このデータセットは主に棒グラフで、横型か縦型のどちらかだね。

#チャート要約研究

チャートを要約する作業では、Chart-to-Textベンチマークを使ってるよ。このベンチマークは、StatistaとPewの2つの主要なデータセットから成り立ってるんだ。両方のデータセットの各例には、チャート画像、基礎データテーブル、チャートタイトル、そして人が書いた要約が含まれてるよ。実験では、Pewから1,393サンプル、Statistaから5,222サンプルを含む両データセットのテストセット全体を使ってるんだ。

#オープンエンドなチャート質問応答タスク

言語モデルがオープンエンドのチャート質問にどれだけうまく応えるかを見るために、OpenCQAデータセットを使ってるよ。このデータセットには、棒、線、面、散布、円グラフの5つのタイプのチャートが含まれてるんだ。実験では、1159のチャートと1159の質問-回答ペアがあるテストセットを使ってるよ。

#4つのセマンティクスレベル

モデルを4つのセマンティクスレベルで評価するために、ChartQAデータセットからチャートを使って、レベル1、2、3に各50例、レベル4に150例を選んでるよ。

#評価結果

#パフォーマンスメトリクス

OpenCQAデータセットで異なるモデルを評価してるんだ。スコアが高い方がいいけど、一部のメトリクスでは低いスコアの方がいいとされてるよ。

#リラックスした正確性

ChartQAの結果は、モデルが通常のChartQAテストセットと変更後のChartQAテストセットでどのようにパフォーマンスを発揮したかを示してるよ。標準のChartQAデータに比べてパフォーマンスが落ちてることも記載してるんだ。

#プロンプト構築

モデルに最適なプロンプトを見つけるために、いろんな戦略を試して、一貫した結果を出すものを選んだんだ。ゼロショットPAL実験では、モデルに実行したときに最終的な答えを出すPythonスクリプトを書くように頼むプロンプトを作ったよ。4レベルセマンティクステストでは、それぞれのセマンティクスレベルに特化した質問を書いて、モデルがチャート画像の異なる意味のレベルをどれだけうまく特定できるかを見てるんだ。

#使用したプロンプトの例

タスクの例：

1. ChartQA

   • CoTプロンプト: チャート画像と質問を与えられたら、応答を生成して。
   • PALプロンプト: 入力質問に対してPythonスクリプトを作成して。

2. 4レベルセマンティクス

   • レベル1: チャートの種類、軸ラベル、色の意味などについての質問。
   • レベル2: 最大値や最小値、外れ値についての質問。
   • レベル3: チャートに見られるトレンドやパターンについての質問。
   • レベル4: チャートを1段落で分析して。

3. オープンエンドなチャートQAプロンプト: 提供されたチャートに基づいて、以下の質問に答えて。

4. チャート要約プロンプト: トレンドや重要なデータポイントを強調してチャートを要約して。

5. チャートによるファクトチェックプロンプト: 入力された主張がチャートによって支持されているかどうかを判断して。

#追加の実験結果

ここでは、Chart-to-Text、OpenCQA、変更されたChartQAベンチマークの3つのデータセットにわたる自動評価の詳細を示すよ。

#パフォーマンステーブル

さまざまなデータセットでのメトリクスに対するモデルのパフォーマンスを示すテーブルを含めるよ。例えば、Chart-to-Textデータセットで各モデルがどのようにパフォーマンスを発揮したかを示すものがあるんだ。

#サンプル出力

特定の質問に対する異なるモデルからの応答の例も示すよ。正しい答えと間違った答えの両方を含めてるんだ。

#セマンティクス評価結果

#レベル1評価

レベル1では、モデルがチャートの種類や軸の範囲についての簡単な質問に答えるんだ。例えば、チャートの種類について聞かれたら、一つのモデルは「棒グラフ」と簡単に答えるかもしれないし、別のモデルはもっと詳しく説明するかもしれない。

#レベル2評価

レベル2では、モデルが数値の範囲や値を特定する必要があるんだ。例えば、どの軸に最大値があり、それが何であるかを示すかもしれない。

#レベル3評価

レベル3の評価では、モデルがチャートに見られるトレンドを説明するんだ。彼らは、チャートに示されたデータに基づいて上向きや下向きのトレンドを指摘できるべきだね。

#レベル4評価

最後に、レベル4では、モデルがチャートについてのより深い分析を提供するんだ。データの意味について議論したり、地域やグループを比較したり、彼らが見たことの理由を提案したりできるべきだよ。

#一般的なエラーと幻覚

テスト中に、モデルの出力で一般的なエラーや幻覚を記録しているんだ。時々モデルは色、トレンド、特定のデータポイントについて間違いを犯すことがあるんだ。これらのエラーは主観的な応答、矛盾、作り話の情報にカテゴリー分けしてるよ。

#結論

要するに、私たちは言語モデルがチャートデータを解釈する方法をさまざまに分析したんだ。単純な特定から詳細な分析までね。この研究は、彼らの能力や改善が必要な領域を評価する手助けになるよ、特に視覚データの解釈においてね。

#今後の作業

これからは、モデルがチャートデータを処理・分析する方法を洗練させ、結果の明確なコミュニケーションに焦点を当て、視覚情報に基づいて要約や回答を出す際の正確性を向上させることを目指しているんだ。