ディスコベンチの紹介：言語評価の新しいスタンダード

言語処理は、文がどのように一緒に機能するかを理解することを含んでる。テストはしばしばモデルが個々の文をどう扱うかを評価するけど、文同士の関係を無視しがち。これを解決するために、Disco-Benchを発表するよ。これは単一の文を超えた言語を使ってモデルがどれだけうまく機能できるかをチェックするための新しいベンチマークなんだ。Disco-Benchは、単語や文のつながりを調べることで、テキストの理解、翻訳、新しいコンテンツの生成などのタスクには重要なんだ。

#Disco-Benchの特徴

Disco-Benchには、文同士の関係を示す様々なつながりに焦点を当てた9つのテストセットが含まれているよ。これらのセットは中国語と英語の両方で利用可能。モデルがこれらのつながりをどれだけ理解できるかを分析するために、談話情報を正しく学習し活用できるかを確認できるテストスイートを作ったんだ。

#モデルの評価

一般的なモデルや特に訓練されたモデルを含む20の異なるモデルをテストしたよ。テストには、Transformerなどの高機能モデルや大規模な言語モデルが含まれた。結果から、2つの重要なことがわかった：

1. Disco-Benchは言語モデルの評価にとって挑戦的かつ必要なものである。
2. 我々のトレーニングデータを使って細かく調整したモデルは、言語のつながりを扱うのに優れた結果を示した。

私たちは、テストセットやモデルを含むすべてのリソースを共有して、この分野で他の人が研究するのを助けるつもりだよ。

#評価ベンチマークの重要性

過去には、さまざまなベンチマークが提案され、異なるタスクや言語に対して言語モデルをテストしてきたよ。例として、英語のためのGLUEや中国語のためのCLUEがある。でも、これらはしばしば談話のつながりを見逃してる。良い言語は単なる文の連なりではなく、談話の原則によって導かれたつながった全体を形成するんだ。談話の主な要素は2つ：

1. コヒージョン：これは、言葉やフレーズが論理的にどのように結びついているかに関するもの。
2. コヒーレンス：これは、文やセクションが意味的にどのように関連しているかに関するもの。

小説やエッセイなどの文学テキストは、モデルがこれらのつながりをどれだけ理解しているかを調べるのに重要なんだ。これらのテキストは通常、複雑な言語構造や豊かな語彙が多く含まれていて、言語モデルにとって適切な挑戦を提供するんだ。

#Disco-Benchの構造

Disco-Benchは主に3つの部分から成ってる：

#ベンチマーク

ベンチマークには、理解、翻訳、生成の幅広いタスクをカバーする9つの課題が含まれていて、中国語と/または英語で行われてる。ほとんどのデータセットはゼロから作成され、豊かな談話機能を持つようにしたよ。

#診断データセット

モデルがどれだけ談話を理解しているかを調べるためのデータセットも作った。これは、モデルに挑戦するために設計された1,294の例が含まれてる。各例には正しい文と間違った文が含まれていて、モデルの正しい談話パターンを特定する能力をテストするんだ。

#トレーニングデータ

中国語と英語の文学作品を含む400GBの大規模なデータセットを組み合わせた。このデータはモデルが談話情報をうまく使えるように学ぶのを助けるんだ。

#談話の概念

談話は難しいことがある。文法や語彙の選択などの要因が関わってる。考慮すべき7つの重要な側面がある：コヒージョン、コヒーレンス、意図性、受容性、情報性、状況性、そしてインターテキスチュアリティ。これらの中で、コヒージョンとコヒーレンスが最もよく研究されてる。

#コヒージョン

コヒージョンは、テキスト内の特定の要素が相互に関連していることを意味するよ。例えば：

• 照応：文中のある言葉が前の文の別の言葉に依存すること。
• 指示詞の同指：異なる用語が同じ人物や物を指すこと。
• 語彙的コヒージョン：関連する言葉がテキストの部分を結びつける、例えば同義語のように。

#コヒーレンス

コヒーレンスは、テキストの異なる部分がどれだけ良く関連しているかについて。これは通常、ラテリカル構造理論（RST）などの構造を通じて分析され、テキストの大きなセグメントがどのように関連しているかを見てる。

#関連研究

さまざまな評価ベンチマークはモデル開発にとって重要だったよ。例えば、文レベルのタスクに焦点を当てたものもある。DiscoEvalは、モデルが談話の知識をどれだけうまく扱えるかを見てるけど、主に英語と特定のタスクに限られてる。それに対して、Disco-Benchは中国語と英語のタスクを含むより広い範囲をカバーし、文だけでなく談話のつながりを見てる。

#Disco-Benchのタスク

Disco-Benchは、理解、翻訳、生成の3つのカテゴリに分かれたタスクで構成されてる。各タスクはモデルの談話的課題を扱う能力を測るために作られてる。

#言語理解タスク

これらのタスクは、モデルが人間の言語をどれだけ把握しているかを分析するよ。スピーカーの特定やゼロ代名詞の復元など、さまざまな挑戦が含まれてる。タスクは、コンテキストの長さや必要な知識に基づいて難易度が異なる。

#スピーカー特定（SI）

このタスクでは、対話を含む段落が与えられ、モデルはスピーカーを特定する必要がある。引用を理解し、誰が話しているかを特定するための参照を解決する必要があるんだ。

#ゼロ代名詞復元（ZPR）

このタスクでは、モデルがコンテキストに基づいて欠けている代名詞を埋めることを求められる。代名詞は時々簡潔さのために省略されるから、モデルは何が抜けているかを理解する必要がある。

#機械読解理解（MRC）

ここでは、モデルが提供されたテキストに基づいて質問に答える。テキストの背後にある意味を理解して正確に答えることに焦点を当ててる。

#言語翻訳タスク

翻訳タスクは、テキストを別の言語に変換することに関わる。ここでは、談話が大きな役割を果たす。タスクは、元のテキストで省略される情報の量に基づいて難易度が上がるよ。

#小説翻訳（NT）

このタスクでは、物語の一貫性を保ちながら小説を翻訳する。

#古典中国語翻訳（CCT）

モデルは古典テキストを現代の言語に翻訳する。これには、濃密で簡潔な表現を理解する必要がある。

#詩の翻訳（PT）

詩の翻訳は、その固有のあいまいさや深みのある意味のため、かなり難しい。文脈を理解するための微妙な理解がしばしば必要になるんだ。

#言語生成タスク

これらのタスクは、モデルに与えられたコンテキストに基づいて新しいテキストを生成することを求めるよ。複数の文にわたって一貫性のあるコヒーレンスのあるテキストを生成するのは非常に難しい。

#テキスト拡張（TE）

このタスクでは、モデルが既存のテキストに詳細を追加して、元の意味を失わないようにする。

#テキスト補完（TI）

モデルはコンテキストから欠けている文を予測し、テキストの流れを理解する必要がある。

#テキスト完成（TC）

モデルは先行文を取り、完全な段落またはテキストを発展させなきゃいけない。

#ベンチマークの質の評価

私たちは、人間の評価を通じてベンチマークの質を評価し、異なるアノテーター間の一貫性を調べてる。言語理解タスクについては、評価者間の高い合意レベルが見つかったよ。翻訳と生成タスクについては、出力が流暢さとコヒーレンスで評価された。

#診断テストスイート

一般的なメトリクスは、モデルの談話に関するパフォーマンスのニュアンスを見落としがち。これに対処するために、特に談話テスト用のスイートを作った。さまざまなコヒージョンの特徴を調べ、モデルがこれらのつながりを特定できるようにしてるんだ。

#対照的テスト

我々のアプローチは、正しい例と変更された例を比較して、モデルが談話の違いを識別できるかを確認する。各例には正しいバージョンと間違ったバージョンが含まれてる。

#Disco-Benchの事前学習

私たちは、中国語と英語の文学テキストから集めた400GBの巨大な事前学習データセットを提供する。これはモデルが談話を効果的に理解するのを助けるための豊かなリソースになるよ。

#データの多様性

Disco-Benchのデータは、通常の事前学習で使われるデータセットよりも包括的だ。既存のデータセットのほとんどは文レベルのデータに焦点を当てているか、Wikipediaなどの限られたドメインから来ている。Disco-Benchは、幅広い文学ソースを組み合わせているので、より価値のあるリソースになっているんだ。

#モデル評価の結果

私たちのテストでは、Disco-Benchのデータで訓練されたモデルがそうでないモデルよりも良い性能を示したよ。結果は、モデルのサイズやタイプがパフォーマンスに影響を与えることを示した。例えば、大きなモデルは通常、パフォーマンスが良い。私たちのテストは、談話に焦点を当てたデータでモデルを微調整することで、言語のつながりを理解するのが改善されることを強調したんだ。

#パフォーマンスメトリクス

私たちは、翻訳にはBLEU、理解タスクには正確さなど、さまざまなメトリクスを使ってモデルのパフォーマンスを測った。結果は、詳細な事前学習を受けたモデルが常にそうでないモデルよりも優れたパフォーマンスを示すことを示したよ。特に、既存の大規模言語モデルは、ほとんどのタスクで私たちの最も良く訓練されたモデルのパフォーマンスに達しなかった。

#結論

Disco-Benchは、モデルが一貫した言語を理解し生成する能力を評価するための重要なツールだ。私たちのベンチマークは、談話モデリングの課題を強調するだけでなく、今後の言語処理研究の基盤としても機能する。データセットや事前学習モデルを提供することで、この重要な人工知能の分野での努力をサポートするつもりだよ。