フィリピンで貧困を測るための機械学習の活用

世界中で7億人以上の人々が極度の貧困に暮らしていて、1日あたり2.15ドル（約125ペソ）未満で生活しています。各国の政府は2030年までにすべての形態の貧困を終わらせることを目指す持続可能な開発目標1（SDG）を達成するために懸命に取り組んでいます。しかし、COVID-19パンデミックの影響で、多くの国で貧困が長引く可能性があります。この状況下では、政府が貧困に苦しむ人々の正確な数を把握することが、効果的な政策を作成するためにますます重要になっています。

貧困はさまざまな形で現れます。一般的には、金銭的な側面と非金銭的な側面の2つの主な方法で測定されます。金銭的アプローチは収入や支出を見ており、フィリピンでは貧困を測る一般的な方法です。ここでは、税引前の収入が家庭の状況を示す指標として使われています。ただし、専門家の中には、貧困はお金の不足以上のものであると主張する人もいます。彼らは、教育や医療へのアクセスなどの他の分野も含まれているため、貧困は多次元的な問題であると考えています。

従来の貧困測定方法は、この問題を過度に単純化しがちです。多くの現行手法は経済的指標にのみ焦点を当て、健康、栄養、教育といった重要な分野を無視しています。これらの方法は通常、収入のような既知の要因に依存しており、データ内の重要な関係を見逃す可能性があります。したがって、効果的な解決策を作成するためには、貧困のさまざまな側面を考慮することが重要です。

#機械学習の役割

最近、貧困測定の改善に向けた取り組みでは、従来の方法よりも効果的にさまざまなデータを分析できる機械学習が使われ始めています。機械学習モデルはデータ内のパターンを見つけたり、大量の情報を迅速に処理したり、人間のバイアスを減らしたりできます。データが複雑または隠れたパターンを示していても、重要な変数を特定できます。これにより、機械学習モデルは貧困をより正確に予測できるようになります。

それでも、フィリピンでの貧困研究に機械学習手法を使った研究はあまりありません。以前の研究では、地理空間データのような特定のデータソースを扱っていましたが、大規模でさまざまな機械学習手法を比較したものはありません。この研究は、より広範なデータセットを用いて、ブースティングアルゴリズムとして知られている5つの特定の機械学習アルゴリズムを比較することを目指しています。

#データと方法

#データ収集とクリーニング

この研究では、2022年のフィリピンの人口動態および健康調査（DHS）のデータを使用しました。元のデータセットには、30,000以上の世帯から集められた2,000以上の特徴がありました。データを準備するために、3,050以上の欠損値がある特徴と、残りの不完全な行を削除しました。このクリーニングの結果、約20,679世帯から396の特徴を持つデータセットが得られました。

#データの分割

データがクリーニングされた後、訓練用に80％、テスト用に20％に分けられました。さらに、訓練データの10％をモデルの設定を最適化するために確保し、結果の信頼性のある評価を可能にしました。

#特徴のスケーリング

均一性を維持するために、異なるタイプの特徴がスケーリングされました。バイナリ特徴はそのままにし、数値データはzスコア正規化という方法を使って標準化されました。これにより、すべてのデータが訓練とテストのフェーズ間で一貫性を保つことができました。

#特徴選択

分析の効率を向上させるために、SelectFromModelという方法を使用して各モデルに最も関連する特徴を選びました。この方法は、貧困を予測するのに最も重要な特徴を評価します。結果を分析した後、最終モデルに対して66の重要な特徴が選択されました。選択された特徴があまりにも似ていないことを確認するために、多重共線性の統計的チェックも行われ、最終的に使用される特徴は分析に十分に異なることが確認されました。

#機械学習モデル

この研究では、5つのブースティングアルゴリズムが選ばれました：Adaptive Boosting（AdaBoost）、CatBoost、Gradient Boosting Machine（GBM）、Light Gradient Boosting Machine（LightGBM）、Extreme Gradient Boosting（XGBoost）。これらのモデルは、貧困の複雑さに対処するためにさまざまなデータタイプをうまく扱えるため選ばれました。訓練データのクラス不均衡を管理するために、SMOTE（Synthetic Minority Over-sampling Technique）という技術が適用されました。

#性能指標

機械学習アルゴリズムが貧困レベルをどれだけ正確に予測したかを評価するために、さまざまな性能指標が分析されました。各アルゴリズムの予測は以下に基づいて比較されました：

• 正確性：正しい予測の数と総予測の比率。
• 精度：貧困と予測された世帯の中で正しく予測された世帯の割合。
• 再現率：実際に貧困の世帯の中で正しく予測された世帯の割合。
• F1スコア：精度と再現率の平均で、パフォーマンスのバランスの取れた視点を提供。
• AUC-ROC：クラス間の違いをどれだけうまく識別できるかを示すスコア。

これらの指標に加えて、各モデルがどれだけ速く訓練およびテストできるか、またそのメモリ使用量も考慮されました。

#結果

結果は、CatBoostが最も性能が良く、正確性が90.93%に達したことを明らかにしました。次にXGBoostが89.41%、GBMが89.05%、LightGBMが88.52%の順でした。AdaBoostはすべての指標で最低のパフォーマンスを示し、正確性は80.39%にとどまりました。

貧困クラスを区別する際、CatBoost、GBM、LightGBM、XGBoostは優れたAUC-ROCスコアを達成しましたが、AdaBoostは後れを取っていました。これにより、CatBoostや類似のモデルが異なる貧困クラスを特定するのに優れている一方で、AdaBoostは誤分類に苦労していることが示されました。

#計算効率

計算効率の観点では、AdaBoostが訓練で最も早く、約4.48秒かかりました。しかし、テスト時には0.23秒と遅くなりました。一方、CatBoostは訓練に69.29秒と最も時間がかかりましたが、テストでは0.01秒と非常に速かったです。GBMは中程度の訓練時間を示し、LightGBMとXGBoostは速度とサイズのバランスが良く、実用的な利用の強い候補となっています。

#結論

この研究は、特にCatBoostのようなブースティングアルゴリズムがフィリピンの貧困レベルを効果的に予測できることを明らかにしました。CatBoostは他のアルゴリズムと比較して一貫して最良のパフォーマンスを発揮し、AdaBoostは低いパフォーマンスを示しました。選ばれた特徴は、政策立案者による介入の可能性のある領域も示しています。

この研究の意義はフィリピンを越えて広がり、世界中の政府が機械学習を使って貧困のダイナミクスについてより良い洞察を得ることができます。この理解は、貧困のさまざまな側面に効果的に対処するターゲットを絞った介入を作成するのに役立つかもしれません。ただし、この研究にはDHSデータにのみ依存していることや、他のデータソースでのさらなるテストが必要であるという制限があることも認められました。

将来的には、調査データとGPS情報のような異なるデータタイプを組み合わせることで、貧困予測の精度をさらに向上させることができるかもしれません。全体として、この研究は、影響を受けた人々を明らかにし、彼らを助ける方法を模索するための高度な手法を利用することにより、貧困削減に向けた取り組みに貢献しています。