機械学習モデルの公平性を進める

機械学習のシステムを公正にするために、よくトレーニング中にデモグラフィック情報に基づく公正性の指標を使うけど、データセットの多くにはデモグラフィック情報が含まれていないから、いろんなタスクに対して公平なモデルを作るのが難しいんだ。そこで疑問が浮かぶ：関連するタスクからデモグラフィック情報を使って、目標タスクの公正性を改善できるのか？

この研究は、多タスク学習アプローチを使うことで、公正性の目標を新しいタスクに移せることを示している。単一タスク用に設定された公正性の指標をマルチタスクの文脈に合わせることで、関連するタスクからデモグラフィックラベルを使って目標タスクのバイアスを減らせるんだ。

デモグラフィックデータが欠けているさまざまなシナリオを調査して、私たちのアプローチがどうやって多様なタスクやドメインで公正性を改善できるかを示すよ。機械学習モデルは全体としては非常に良いパフォーマンスを発揮することがあるけど、特定のグループ、特に小さなサブポピュレーションに対しては悪い結果が出ることがある。高い精度は、時にはこれらのグループのパフォーマンスの悪さを隠すこともある。

こうした問題に対処するために、責任あるAIの分野では、AIシステムをより公正にするためのさまざまな技術が開発されてきた。これらの技術には、新しいトレーニング目標を設定したり、モデルが構築された後に調整したり、トレーニング中のデータの表現を変えてバイアスを最小限に抑える方法が含まれる。目標は、文書の著者のデモグラフィック情報などのメタデータを使って、トレーニングと評価の際に公正な結果を高めることなんだ。

でも、多くの状況ではトレーニングサンプルのデモグラフィック情報にアクセスできないことがある。また、ほとんどの公正性アプローチは、グループメンバーシップを定義するために単一のデモグラフィック特徴に焦点を当てるけど、実際には複数のデモグラフィック特徴が相互に作用していることが多い。インターセクショナリティという言葉は、異なる形の差別がどのように交差するかを指し、この概念は法律の分野から生まれ、特定の特徴に基づいて個人を保護するために設計された法律の不十分さを示している。

機械学習の初期の研究では、特にフェイシャルレコグニションにおいて、特定のデモグラフィックグループに対して圧倒的に悪いパフォーマンスを示すモデルがあることが指摘されていた。特に、性別と人種の交差点にいるグループにとっては、より多様なデモグラフィックデータの必要性が高まっている。ほとんどのデータセットは同時に一つの次元、たとえば人種または性別のみを考慮するから、必要なデモグラフィックデータがないと、こうした交差的なグループに対して公正性を確保することが課題になる。

デモグラフィックデータが利用可能でない場合には、プロキシ変数や推測されたデモグラフィック情報を使うことが提案されているけれど、これらの方法はデモグラフィックの推測がどれだけ正確か、または名前のようなプロキシ変数の利用可能性に依存している。そこで、マルチタスク学習（MTL）からインスピレーションを得る。

MTLでは、主なタスクに対して少量のデータがあり、関連するタスクからのデータでサポートされることが多い。これらのタスクを一緒にトレーニングすると、別々にトレーニングするよりも良い結果が得られることがある。トレーニング中にタスク間で情報を共有できるからだ。このアプローチは自然言語処理（NLP）で人気を集めていて、特に大規模言語モデルの利用とともに注目されている。

残念ながら、研究によると、これらの言語モデルをファインチューニングする時でも、偏見を避けるように設計されたモデルを使っても不公正な結果が生じることがある。このことは、公正性がどのファインチューニングプロセスにも組み込まれるべきであり、通常、各タスクに対するデモグラフィック情報が必要だということを示唆している。

私たちは、一つのタスクから別のタスクに公正性を移すマルチタスク学習モデルを提案する。実験では、さまざまなNLPデータセットを使って、クリニカルノート、オンラインレビュー、Twitterの感情分析、ヘイトスピーチ検出など異なる分野で方法を評価する。

異なるデモグラフィック属性の交差点で公正性を実現することに焦点を当てて、各タスクが異なるデモグラフィック特徴に関連付けられている二つのタスクを活用する。この方法は、各タスクが持っているデモグラフィック情報の一部にしかアクセスできない場合でも、両方のタスクに公平にサービスを提供するモデルを作ることを目的にしている。

この研究の主な貢献は以下の通り：

1. 個別のタスクの公正性測定をマルチタスクの文脈に適応させてタスク間で公正性を移行すること。
2. デモグラフィックデータが欠けている場合でも、特化したマルチタスク公正性ロスを通じて交差的なグループの公正性に対処すること。
3. 似たタスクの関連性と、そのタスク間で公正性を一般化する能力の関係性について議論すること。

私たちはまず、学習シナリオを定義する。タスクAのためにバイアスのない分類器を作りたいとする。タスクAにはテキスト入力とラベルがあるけど、デモグラフィック情報が欠けている。一方で、タスクBには関連するが異なるデモグラフィックデータがある。タスクAとBの両方を含むモデルをトレーニングし、公正性ロスをタスクBにだけ結びつけることで、タスクAのための公正なモデルを開発することを目指す。

同様に、この考えを交差的な公正性トレーニングに拡張する。タスクAは性別属性を使い、タスクBは人種属性を使用する。この二つは同時には両方の属性を提供しないから、交差的な公正性を達成するために組み合わせたアプローチを作り出す必要がある。

このセクションでは、公正性とそれに関連するロスの定義、トレーニング目標の正式な定義とトレーニングプロセスそのものを説明する。

#公正性ロス

私たちは、インターセクショナリティを考慮した公正性の定義を活用し、モデルのトレーニングに適したものを使用する。例えば、改良された公正性メトリックを使って、リコールと特異度の比率がデモグラフィックグループやその交差において等しいことを保証する。

これを形式的に定義すると、離散的なデモグラフィック属性があるとしよう。モデルが公正性の目標を達成するためには、全ての結果において定義された全てのデモグラフィックカテゴリーで似た結果を維持する必要がある。スコアがゼロに近づくほど、モデルは公正である。

従来、公正性メトリックは既存のロスに追加することで学習目標に組み込まれる。例えば、深層学習モデルのトレーニング時には、予測ロスと公正性ロスの両方を含むものになり、これらをバランスさせるための重みを使う。

私たちのモデルでは、マルチタスクトレーニングを行い、この公正性ロスを一つのタスクのみに適用する。共有のモデルパラメータは、両方のタスクから学びながら、他のタスクの公正性制約が適切に結果に影響を与えるようにする。

交差的な公正性の場合、私たちは両方のタスクから公正性ロスを組み合わせる方法を開発する。各タスクには固有のデモグラフィック属性があり、それを利用して両方のドメインで同時に公正性を達成する。

公正性の目標を一つのタスクから別のタスクに移行することは、技術的にはデモグラフィック情報が一つのタスクにしかないマルチタスク状況にも適用できる。しかし、私たちの方法を評価するには、各タスクのテストセットにデモグラフィックデータが必要になる。

私たちは、クリニカルレコード、オンラインレビュー、ソーシャルメディアなど異なる分野のデータセットを使用して、モデルの効果を検証する。各データセットは異なるタスクに焦点を当てながら、さまざまなデモグラフィック属性の考慮事項を持っている。

#クリニカルレコード

MIMIC-IIIデータセットを使って、これはクリティカルケアユニットからの匿名化された医療記録を含んでいる。ここから二つのタスクを選ぶ：

1. 院内死亡率：このタスクは、患者が入院中に死亡するかどうかを予測し、最初の48時間に作成されたノートに基づく。

2. フィノタイピング：このタスクは、クリニカルレコードに見つかった証拠に基づいて医療条件を割り当てる。

アプローチの焦点は、条件を特定し、モデルが公正であり、正確に機能することを確保することだ。

クリニカルタスクでは、デモグラフィック情報は性別に限られている。モデルをトレーニングする際、データは処理に必要なエンコーディング制限に収まるように準備する。

#オンラインレビュー

オンラインレビューは、企業が提供を改善するのに役立つフィードバックを豊富に提供します。この文脈で、私たちはTrustpilotのデータを使用して、ユーザーがさまざまな製品やサービスをレビューできるプラットフォームです。各レビューは五段階評価と組み合わされています。

私たちは特に二つのタスクに焦点を当てる：

1. 感情分析：評価に基づいて、レビューをネガティブ、中立、またはポジティブにラベリングする。

2. トピック分類：レビューをファッションやフィットネスなどの主題に基づいて分類する。

両方のタスクは年齢と性別のための共有デモグラフィックデータを持っており、結果における公正性を確保することができる。私たちはデモグラフィックの表現を均等に保つために、データを均等にマッチしたトレーニングセットに整理する。

#ソーシャルメディア

Twitterのようなソーシャルメディアプラットフォームは、多様なユーザーを抱えていて、NLPシステムにユニークな課題をもたらす。実験のために、私たちは二つのタスクを分析する：

1. 感情分類：このタスクは、ツイートがポジティブまたはネガティブな感情を伝えているかを判断し、絵文字や言語分析を使用します。

2. ヘイトスピーチ検出：この二項タスクは、投稿を有害または非有害として分類する。

デモグラフィック変数は言語パターンに基づいて推測される。私たちは、マルチタスクアプローチを効果的に適用しながら、これらの設定でモデルが公正に機能するように努力する。

#結果

私たちは異なるデータセットやタスクで技術を評価し、データが限られていてもモデルが公正に学ぶことができることを示そうとする。

私たちの見解では、公正性の指標を使用してトレーニングしたモデルは、そうでないモデルよりもしばしば優れた結果を出すことがわかる。これは、公正性とパフォーマンスが共存できることを示唆していて、私たちが使用した技術が完全なデモグラフィック情報が欠けているタスクに対して、より良い結果を生むのを助けることを示している。

#結論

このマルチタスク学習における公正性の探求は、機械学習モデルをより公平にするための新たな道を開く。関連するタスクからの情報を効果的に活用することで、さまざまな人口に対してAIシステムが公正に機能することを確保する方法を開発する。

今後の研究では、これらのアイデアをさらに拡張し、公正性の考慮をさらに統合し、さまざまなデータセットやタスクにおける影響を探求することができる。前進するにつれて、パフォーマンスと公平性の両方を高めることを目指して、機械学習がすべての人に平等に恩恵をもたらすようにしていく。