欠損データを使った機械学習における公平性の対応

今の世界では、機械学習が金融、医療、刑事司法などさまざまな分野でどんどん使われてる。でも、これらのシステムが人々の生活に関する重要な決定を下すとき、公平性がめっちゃ大事なんだ。公平性っていうのは、アルゴリズムが異なるデモグラフィックグループを偏りなく平等に扱うべきっていう考え方。ただ、個人に関する完全なデモグラフィック情報がないときはどうなるの？この状況は「デモグラフィックスカーシレジーム」って呼ばれてる。

公平性に関する研究をする時、多くの研究者は完全なデモグラフィックデータにアクセスできる前提で進めるけど、実際にはそうじゃないことがほとんど。プライバシーの問題や法的制限、単にデータが収集されてないからって理由で、データが手に入らないケースもある。このデモグラフィックデータの不足は、アルゴリズムが異なるグループを公平に扱ってるかどうかを知るのを難しくする。

#欠損データの課題

デモグラフィック情報が欠けてると、公平性を測ったり実行したりするのが難しくなる。例えば、異なる人種や性別のグループ間でローン申請プロセスが公平かどうかを判断したいとき、全ての申請者の人種や性別のデータがなければ、アルゴリズムがこれらのグループを公平に扱ってるかを確認できない。

研究者たちは、この問題を解決するために、属性分類器をトレーニングする方法を見つけた。これは、他の利用可能な情報に基づいて人種や性別といったセンシティブな属性を予測するモデルのこと。これによって、欠けているデモグラフィックデータの「プロキシ」を作ることができる。ただ、これらのプロキシ属性に頼ると、実際のデモグラフィック属性を使うよりも公平性や精度が悪化することがある。

#我々の提案するフレームワーク

プロキシデータを使うときの公平性と精度のトレードオフを改善するために、新しいフレームワークを提案するよ。私たちの方法は、属性分類器に不確実性の意識を取り入れることに焦点を当ててる。要するに、モデルが欠けているデモグラフィック情報の予測にどれくらい自信があるのかを意識させたいんだ。

このフレームワークの重要なアイデアは、モデルが予測に対して不確実なときに公平性を強制すると、両方の公平性と精度を悪化させるかもしれないってこと。だから、公平性制約は、デモグラフィック情報が高い自信で予測されたサンプルにだけ適用すべきだと思う。

#プロセス

我々のフレームワークは、2つの主要なフェーズから成ってる。

1. 属性分類器のトレーニング: 最初のフェーズでは、欠けているデモグラフィック情報を予測するモデルを作成する。このモデルは、自分の予測に対する確信度を評価する技術を使う。不確実性は、モンテカルロドロップアウトという方法を使ってトレーニング中に改善される。この方法は、予測の変動を見積もるのに役立つ。

2. ラベル分類器のトレーニング: 2つ目のフェーズでは、ターゲット変数（例えば、誰かがローンを受けるべきか）に関連する予測を行うメインの分類器をトレーニングする。重要なのは、デモグラフィック情報が低い不確実性で予測されたサンプルにだけ公平性制約を課すってこと。

#結果と発見

我々のフレームワークを検証するために、成人所得データセットとCompasデータセットという、よく使われる2つのデータセットで実験を行った。これらのデータセットは、機械学習におけるバイアスや公平性を評価するために使われてきた。

結果は、既存の公平性向上メソッドが、真のセンシティブ属性の代わりにプロキシセンシティブ属性を使うときに生じるノイズにうまく適応できることを示した。つまり、我々の提案するフレームワークは、 imperfectな予測に頼りながらも効果的に機能する。

また、不確実性が高いと予測されたサンプルは、公平性と精度のバランスに悪影響を及ぼすこともわかった。だから、我々の方法は、不確実性が低いと予測されたサンプルにだけ公平性制約を課した方がパフォーマンスが良い。

#不確実性の重要性

不確実性の概念は、我々のフレームワークにおいて重要な役割を果たす。いつ公平性制約を適用するかを理解するのに役立つ。不確実なモデルに対して公平性を強制しようとすると、結果が悪化するかもしれない。というのも、モデルがデモグラフィック属性について誤った仮定をする可能性があるから。それが意思決定を間違った方向に導くかもしれない。

信頼できる予測を持つサンプルに焦点を当てることで、公平性と精度のバランスを保つことができる。このアプローチは、より良いパフォーマンスだけでなく、改善された公平性特性を持つモデルを生む。

#他の方法との比較

実験では、いくつかのベースラインメソッドと我々のフレームワークを比較した。

• グラウンドトゥルースセンシティブ属性: このベースラインは、真のセンシティブ属性が完全に利用可能で、最適なパフォーマンスレベルを測定することを前提にしている。

• プロキシ-KNN: このアプローチは、センシティブ属性を含むサンプルのk近傍から欠けているセンシティブ属性を導き出す。

• プロキシ-DNN: この場合、深層ニューラルネットワークが不確実性を考慮せずにセンシティブ属性を予測するためにトレーニングされる。

我々のフレームワークは、全データセットと公平性メトリックにおいて、これらのベースラインメソッドよりも常に優れてた。これは、我々の方法が不確実性を考慮しない従来の方法に比べて、精度と公平性のバランスをより良く達成できることを示してる。

#公平性メトリクス

我々のフレームワークのパフォーマンスを評価するために、3つの人気のある公平性メトリクスを考えた。

• デモグラフィックパリティ: このメトリクスは、予測結果がセンシティブ属性と独立しているべきだという要求がある。

• イコライズドオッズ: このメトリクスは、真陽性率と偽陽性率が異なるデモグラフィックグループ間で等しいことを強制する。

• イコールオポチュニティ: これは、真陽性率を異なるデモグラフィックグループ間で均等化することにのみ焦点を当てる。

これらのメトリクスは、それぞれ我々のフレームワークが公平性を達成する面でどれだけうまく機能したかを測るために評価された。

#結論

要するに、我々の提案するフレームワークは、特に限られたデモグラフィック情報を扱う際に、機械学習の公平性の分野に大きな貢献をする。予測における不確実性の重要性を強調して、我々の方法が他のアプローチに比べてより公平で正確なモデルを生み出せることを示した。信頼できる予測を持つサンプルに焦点を当てることで、公平性と精度のバランスを向上させることができ、完全なデモグラフィックデータが得られない現実のシナリオでも適用可能な方法になる。

今後は、属性分類器のトレーニングで先進的な技術を取り入れて、公平性と精度のバランスをさらに洗練させることに焦点を当てる予定。人々の生活に影響を与える機械学習システムの公平性を確保するための実用的なツールを提供したい。