NLPにおけるサリエンシー手法の評価：人間の視点から

ディープラーニングモデルは自然言語処理（NLP）に関する多くのタスクで大成功を収めているけど、これらのモデルがどうやって意思決定をしているのかを理解するのはしばしば難しい。そこで、モデルの動作を説明するための方法が作られた。一つのアプローチは、モデルの出力に対する入力の特徴の寄与を元に、特徴をランク付けすること。いろんな説明を作るための方法が開発されてきたけど、これらの方法が人間がモデルの決定を知覚して解釈する方法と一致するかどうかはまだ不明。

この研究は、NLPで使われるサリエンシー方法を人を巻き込んで評価する新しい方法を紹介する。800人のワーカーが参加して、7つの異なるサリエンシー方法のパフォーマンスを2つのデータセットで評価するクラウドソーシング実験を行った。私たちの分析では、クラウドソースされた結果と自動評価指標を比較し、この文脈でNLPとコンピュータビジョン（CV）の間に顕著な違いがあることを明らかにした。

#NLPにおける評価の重要性

ディープニューラルネットワーク（DNN）がNLPタスクで人気を集める中、それらの内部動作を理解することがますます重要になってきてる。DNNは複雑なデータセットの中から重要なパターンを検出できるけど、しばしばブラックボックスのように動作するため、入力と出力を結びつけるのが難しい。一部の低リスクなタスクでは、エラーが深刻な結果を招くことはないかもしれない。たとえば、面白い小説を提案することが悪いおすすめだったとしても、大した問題ではないこともある。しかし、オンラインチャットサービスのような他のシナリオでは、モデルが有害または非倫理的なテキストを生成することがあり、ユーザーに害を及ぼす可能性がある。

これにより、これらのモデルがどうやって意思決定をしているのかを理解する必要性が浮き彫りになる。モデルが複雑になるほど、その出力を解釈する方法を研究することが重要になる。さまざまな解釈方法が登場して、この問題に取り組んでおり、異なる入力特徴がモデルの予測にどれだけ影響を与えるかを見積もることに重点を置いている。

サリエンシー説明は人気のアプローチの一つで、入力の各特徴にスコアを割り当て、その出力への寄与を示す。これにより、モデルが重要だと考える入力の部分を特定するのに役立つ。バニラグラディエント、インテグレーテッドグラディエント、ローカルインタープリタブルモデル非依存説明（LIME）など、さまざまなサリエンシー方法が提案されているけど、その評価は一貫性に欠けることが多い。

#サリエンシー方法の評価

私たちの研究では、サリエンシー方法の前回の評価にもかかわらず、自動指標がこれらのモデルに対する人間の理解を正確に反映しているかどうかがまだ不明であることに気づいた。たとえば、画像のピクセルを1つ変更するなど、入力の小さな変化がモデルの出力に大きな影響を与えうる一方で、人間はその変化に気付かないことがある。だから、サリエンシー方法を人間の視点から評価することが重要になってくる。

クラウドソーシングは、さまざまなタスクに人間の知能を活用するための実用的でコスト効果の高い方法を提供する。私たちは、クラウドワーカーがサリエンシー方法によって提供された重要な単語のトップに基づいてテキストを正確に分類できるかを調べるために研究を設計した。画像分類に既存の方法からインスパイアを受けて、サリエンシー方法によって選ばれた単語が元のテキストの意味を効果的に伝えられるかを判断したいと考えた。

#人間中心の評価アプローチ

私たちの人間中心の評価では、IMDB（映画レビュー）とAGNEWS（ニュース記事）の2つのデータセットで7つのサリエンシー方法を評価するために800人のクラウドワーカーをリクルートした。私たちは、ワーカーにはサリエンシー方法によって特定された最も重要な単語だけが表示され、そのテキストがポジティブ、ネガティブ、ニュートラルのどれにあたるかを判断するタスクを設計した。

この方法は、フルテキストを隠し、ワーカーが提示された単語にのみ集中できるようにすることで、混乱を避けることを目指していた。これにより、異なるサリエンシー方法が人間の判断に基づいてどれだけよく機能するかの偏りのない視点を得ることができると考えた。クラウドワーカーの回答を収集し集計した後、各サリエンシー方法の精度を分析することができた。

#討論したサリエンシー方法

私たちが使用したサリエンシー方法を簡単に見直した。これらの方法は、各特徴にスコアを割り当て、その重要性を示す。一般的に、グラデーションベースとパーターベーションベースの2つのカテゴリに分けられる。

• グラデーションベースの方法：これらは、より重要な特徴が大きな勾配を示すと仮定している。バニラグラディエントは直接の勾配を測定し、インテグレーテッドグラディエントはベースラインから実際の入力への経路に沿って勾配を計算する。

• パーターベーションベースの方法：これらの方法は、入力特徴の変更が与える影響を評価する。例えば、LIMEは入力データの周りにサンプルを作成し、各入力特徴の寄与を評価するためによりシンプルなモデルを構築する。

隠れた状態やモデルの中間層からの出力を利用する方法もあり、特徴の重要性に関する追加の洞察を提供する。

#評価指標

サリエンシー方法の効果を比較するために、既存の自動評価指標と私たちのクラウドソースされた結果を見た。一部の一般的に使用される指標には以下が含まれる：

1. 曲線間の相対面積（RACU）：重要な単語を削除したときの精度の変動を測定する。
2. 効果（Eff.）：サリエンシー方法が他のモデルの学習をどれだけ助けるかを評価する。
3. シミュラビリティ（Simu.）：サリエンシー説明に基づく予測の精度を評価する。
4. 妥当性（Psi.）と信頼性（Fait.）：説明がモデルの推論に対する人間の理解とどれだけマッチしているかを測定する。

これらの指標は、サリエンシー方法がモデルの動作に関する有意義な洞察を提供する能力を定量化することを目指している。

#実験設定

この研究では、IMDBデータセットを使用してポジティブとネガティブのバイナリ分類を行い、AGNEWSデータセットはニュースを4つのクラスに分類した。各データセットからランダムに100の例を選択し、IMDBではポジティブとネガティブのレビューを均等に混ぜ、AGNEWSではカテゴリー間の均等な代表性を確保した。

BERT-Baseモデルが私たちのバックボーンとして機能し、両方のデータセットでトレーニングされた。私たちは、発見の文脈を提供するためにランダムベースラインを含む7つのサリエンシー方法を評価した。各サリエンシー方法は、重要な単語を検出する能力を明確に理解するためのテストを受けた。

#結果の概要

クラウドワーカーからの結果を分析したところ、インテグレーテッドグラディエントが両方のデータセットでトップのパフォーマンスを示した。他の方法も良く、オールアテンションとラストアテンションも優れた結果を出したが、DeepLIFTやLIMEなどの一部の方法はランダムな推測と比べて強いパフォーマンスを示さなかった。

結果は、サリエンシー方法の効果がデータセットや提示された単語の数によって異なる可能性があることを示唆しており、さまざまなテキストが人間の理解をどのように引き付けるかに微妙な違いがあることを示している。

#主要な発見の考察

#サリエンシー方法のパフォーマンス

インテグレーテッドグラディエントの一貫したパフォーマンスは、その感度と実装不変性の特性と一致する。バニラグラディエントのような他のグラデーションベースの方法は、直接の勾配に依存するため制限が見られ、有意義な寄与を伝えることができないことがある。

興味深いことに、我々は「フリップ」と呼ばれる現象を観測し、少ない重要な単語でサンプルを正しく分類できる人間が、多くの単語が提示された際に困難を抱えることが分かった。このフリップ効果は、情報を追加することが必ずしも理解を助けるわけではないことを示唆しており、NLPにおけるモデル出力の解釈の複雑さを再確認することになった。

#人間対自動評価指標

私たちの発見は、人間の評価といくつかの自動的な指標との間に顕著な違いを明らかにした。いくつかの指標は私たちのランキングに合意したが、他は食い違いを示した。これは、自動評価が有用な洞察を提供できる一方で、人間の理解を完全には捉えていない可能性があることを示唆しており、人間中心の評価の必要性を強調している。

#誤分類されたサンプル

誤分類されたサンプルに対するサリエンシー方法のパフォーマンスを調べた結果は価値があった。重要な単語を強調することは誤分類されたテキストに対して挑戦的で、モデルの予測を理解することの複雑さを再確認するものであった。サリエンシー方法は、モデルがどこで不足していたかを指摘する上で効果的だったが、必ずしも誤分類に対する正しい特徴を強調するわけではなかった。

#発見の含意

私たちの研究の結果は、NLPにおけるサリエンシー方法を理解するために人間の評価が重要であることを強調している。人間の判断と自動指標の間に明確な違いが観察されたため、今後の研究はこれら2つの視点を一致させることに焦点を当てるべきである。

フリップ現象やテキストと画像のサリエンシー方法の違いに関する私たちの観察は、モデルの動作を解釈するためにより微妙なアプローチが必要であることを呼びかけている。NLPが成長し続ける中で、言語データがもたらす独自の課題に適応できる方法を開発することが重要になるだろう。

#限界と今後の研究

私たちの研究は貴重な洞察を提供しているが、限界もないわけではない。評価したデータセットとモデルの数はリソースの制約により相対的に少なかった。今後の研究では、より幅広いデータセットやサリエンシー方法を含め、私たちの発見をさらに検証するよう努めるべきである。

さらに、フリップ現象をより詳細に探求することで、サリエンシー方法が説明を改善するための有意義な洞察が得られる可能性がある。人間がこれらの説明をどのように解釈するかの微妙な理解が、モデルの解釈可能性を向上させるためには重要だろう。

#結論

結論として、私たちの研究はNLPにおけるサリエンシー方法を評価するための人間中心のアプローチを提案した。クラウドワーカーの関与は、さまざまなサリエンシー方法のパフォーマンスに新たな視点を提供し、従来の自動指標との間に重要な違いを明らかにした。インテグレーテッドグラディエントが結果のリーダーであり、フリップ現象のような独自の課題が特定されたことから、モデルの解釈可能性を人間の視点から評価することの重要性が浮き彫りにされた。

この分野を進展させるためには、今後の研究は人間の理解と自動評価の間のギャップを埋める方法を洗練することに焦点を当て、最終的にはDNNをより透明にして意思決定プロセスを明らかにするようにすべきだ。継続的な探求と協力を通じて、私たちはNLPモデルとその説明の複雑さに対する洞察を深めることができるだろう。