GEO-Bench: 地球観測のための新しいベンチマーク

最近の自己監視の進展は、大規模なニューラルネットワークを未活用の膨大なデータでトレーニングすることで、さまざまなタスクのパフォーマンスが大幅に向上することを示しています。これらのモデルは「基盤モデル」として知られていて、自然言語処理の扱い方を大きく変えてきました。画像データにも似たようなモデルが提案されていますが、リモートセンシングタスクにおける有用性はまだ限られています。

地球の変化を追跡するための基盤モデルの成長を促進するために、我々はGEO-Benchを提案します。これは、6つの分類タスクと6つのセグメンテーションタスクで構成されたベンチマークです。これらのタスクは、モデルのパフォーマンスを評価するために関連性と有用性を考慮して慎重に選ばれています。また、モデルを評価し、結果を共有するためのしっかりとした方法も提供して、進捗を追跡する手助けをします。現在のモデルのパフォーマンスを理解するために、20のベースラインモデルからの結果を示します。

このベンチマークが、地球モニタリングタスク全般の進展を促進すると考えています。地球監視のための機械学習手法は、気候変動や気候科学の課題に対処する上でますます重要になっています。この分野での応用には、メタン源の検出、森林の炭素測定、極端な気象の予測、作物の監視が含まれます。

多くのアプリケーションでは、ImageNetでトレーニングされたResNetのような事前トレーニングされたモデルが全体的なパフォーマンスの向上に役立ってきました。これらの事前トレーニングモデルの改善は、大規模なラベル付きデータセットの必要性を減らし、トレーニングデータ以上のパフォーマンスを向上させることができます。最近の研究では、非監視または弱い監視のデータセットのサイズを拡大し、モデルを適切にフィッティングすることで、さまざまな評価基準でさらに良い結果を得ることができることが示唆されています。

通常、これらの大規模モデルのトレーニングは、強力なコンピュータシステムを持つ産業研究グループで行われます。しかし、事前トレーニングされたモデルを公開することで、機械学習以外の分野の専門家を含む研究や技術コミュニティに多くの機会が生まれます。BERTやGPT-3のような大型事前トレーニングモデルのリリースは自然言語処理に大きな変化をもたらし、CLIPやDINOのようなモデルでコンピュータビジョンにも同様の変化を促しました。

CLIPは多くのビジョンタスクで高いパフォーマンスを発揮していますが、地球モニタリングタスクではまだ遅れをとっています。これは驚くべきことではなく、主に地上から一度に撮影されたRGB画像でトレーニングされているためです。地球観測データセットと機械学習で使用される一般的な画像データセットの間には多くの類似点がありますが、効果的なモデルを作成する際に考慮すべきいくつかの重要な違いがあります。

地球観測画像は地上からではなく、通常は衛星の軌道によって決定された固定距離から撮影されます。衛星は不規則または定期的な間隔で地域を再訪し、画像を隠す可能性のある雲の影響などの問題に直面することもあります。これらの画像は、複数のスペクトルバンドを持つセンサーを使用してキャプチャされます。例えば、Sentinel-2は13のバンドを使用します。さらに、合成開口レーダー（SAR）などのセンサーは雲を透過して見ることができます。

各画像取得にはGPS座標とタイムスタンプが付けられていて、異なるソースからのデータ（気象データや標高マップなど）を組み合わせることができます。これにより、一部の情報が欠けていても、豊富なマルチモーダル信号が形成されます。現在、1960年代からのさまざまな時点で撮影された地球の画像を含む膨大な量の衛星データが利用可能です。

この豊富な情報を異なるサイズの事前トレーニングモデルに変換することで、知識の共有が容易になり、多くのタスクでパフォーマンスを向上させることができます。これらの大規模事前トレーニングモデルの主な目的は、下流タスクでのパフォーマンスを向上させることです。機械学習コミュニティがより良い事前トレーニングモデルを作成する手助けをするためには、研究者が遭遇する可能性のあるさまざまなデータとフォーマットの下流タスクが含まれたベンチマークを提供することが重要です。

現在、地球観測を利用した事前トレーニングモデルに関する多くの研究があり、さまざまな下流タスクを評価しているため、比較が難しくなっています。さらに、選ばれたタスクは多様性が限られており、使用された手法は評価における不確実性を適切に報告していません。この作業は、さまざまな国からの幅広いタスクを提供し、異なるセンサーを使用することで、これらのギャップに対処することを目指しています。

さらに、GEO-Benchの修正データセットは元のバージョンよりも小さく、標準的なGPUで結果を再現できるようにしています。これにより、限られたリソースを持つ小規模な研究グループの参加が容易になり、エネルギー使用を抑えることができます。GEO-Benchには6つの画像分類タスクと6つのセマンティックセグメンテーションタスクが含まれており、持続可能な開発に関連して多様性を確保するために専門家によって慎重にキュレーションされています。

このベンチマークによる期待される利点には、地球モニタリングのための基盤モデルの成長を促進し、モデルの質を評価するための一貫した方法を確立し、最良の事前トレーニングモデルに関する洞察を提供し、オープンな評価システムを通じて基盤モデルの欠点を軽減する可能性が含まれています。

#地球監視のためのデータ収集

地球監視用の基盤モデルを構築する際には、事前トレーニングに使用される可能性のあるデータソースについて議論することが重要です。基盤モデルの開発は通常、事前トレーニングのための特定のデータセットに依存しません。データの選択は、インターネットからの大規模なテキストデータセットやオンラインソースからのテキストと画像のペアを使用するなど、設計上の決定の一部です。

したがって、GEO-Benchはトレーニング用のデータを提供しませんが、事前トレーニングに適した地球観測データのいくつかの可能なソースを概説します。Sentinel-2やLandsat 8のような衛星データソースは、定期的な再訪時間を持ったマルチスペクトル画像を提供します。これにより、経度、緯度、波長、時間によって構造化された4次元データ配列が生成され、隣接画像を予測したり、同じ場所の季節変化を比較したりするなど、多様な自己監視技術をサポートできます。

従来の光学データに加えて、SARや地形標高データなどの他のタイプのセンサーは、地理位置情報を通じて一致させることができ、高度な意味を学ぶのに役立つかもしれません。Wikipediaの記事のようなテキストベースのデータは、地理参照を通じて衛星画像にリンクできます。この情報をOpenStreetMapのようなソースからの非画像データと組み合わせることで、モデルの有用な表現を生成する能力が向上します。

#GEO-Benchの詳細

GEO-Benchは6つの分類タスクと6つのセマンティックセグメンテーションタスクで構成されています。各データセットは収集され、ユーザーフレンドリーでアクセスしやすくなるように再利用されながら、モデルパフォーマンスを効果的に測定します。主な目標は、データを簡単に読み込み、管理できる一貫した方法を提供するシンプルでコンパクトなベンチマークを作成することでした。

GEO-Benchを実際のユースケースに関連付けるために、林業や気候科学などの分野から6人の専門家のチームを集めました。重要なベンチマークの意思決定を確保するために、著名な科学者の指導委員会が監督しています。ベンチマークは、マルチスペクトル、SAR、ハイパースペクトル、標高、雲確率の各ゲオスペイシャルセンサー全般にわたるモデルパフォーマンスを調査することを目指しており、空間解像度はピクセルごとに0.1〜30メートルの範囲です。

GEO-Benchは分類だけでなく、物体検出やセマンティックセグメンテーションタスクも含まれています。検出とカウントタスクはセマンティックセグメンテーションに適応されて、使用を簡素化しています。これにより、6つの画像分類タスクと6つのセマンティックセグメンテーションタスクという2つのタスクセットが生成されます。

可能な限り元のトレーニング、バリデーション、テストの分割を保持します。利用できない場合は、トレーニングセットからバリデーションとテストセットを作成し、空間的な重複がないようにします。GEO-Benchのほとんどのデータセットは、アクセスの要件を満たすように修正され、許可が柔軟なライセンスを持つもののみを含みます。

#GEO-Benchのためのデータセットの修正

私たちの目的に合ったベンチマークを作成するために、各データセットに特定の変換を行いました。データセットのダウンロードと変更のプロセスは完全に文書化されており、GEO-BenchのGitHubリポジトリを通じてアクセス可能です。サンプルサイズが特定のサイズを超える大規模なデータセットは、通常の条件を表すようにランダムにサブサンプリングされました-データが常に豊富であるとは限らないからです。

これにより、非常に大きなタスクの数が減り、他の利点も得られます。例えば、大きなトレーニングデータセットは、似たようなパフォーマンスを示すモデルを区別するのが難しくなることがあります。小規模なベンチマークはダウンロードが早く、結果を迅速に生成し、計算にかかるエネルギーを少なく抑えます。また、多様な実験が可能になります。

クラスの不均衡を防ぐために、大きなクラスはランダムにサブサンプリングして、データセット間で均一なクラスサイズを維持します。こうすることで、ベンチマークのユーザーはクラスの不均衡を利用してスコアを膨らませることができず、代わりに事前トレーニングモデルの改善に焦点を当てる必要があります。

#GEO-Benchの利用方法

ファインチューニングは、自己監視学習プロセスにおいて重要なステップです。ユーザーは事前トレーニングされたモデルを取り、そのデータセット内の各画像の固定表現を作成するために使用できます。このプロセスは比較的うまく機能しますが、その成功は元の事前トレーニングタスクに依存し、次のタスクにとって重要な要素を捉えられないことがあります。実際には、事前トレーニングされたモデルのファインチューニングは通常、ゼロから始めたモデルよりも全体的なパフォーマンスを向上させます。

ベンチマークのユーザーに、ファインチューニングしたモデルから得られた結果を報告することを奨励しますが、固定バックボーン（事前トレーニングされた重み）を使用した報告も歓迎しています。これは、モデルのパフォーマンスに関する貴重な洞察を提供する可能性があるからです。選択に関係なく、ユーザーには結果が再現できるように、ファインチューニング手法について十分な詳細を提供してもらうようお願いしています。

ハイパーパラメータの調整は、特に小さなデータセットでアーキテクチャをファインチューニングする際に重要です。したがって、タスクごとに最大16回の試行内でこれらの設定を調整することをお勧めします。バリデーションメトリックに基づく早期停止も推奨されます。

データ拡張は、特に限られたトレーニングデータセットのある深層学習モデルのトレーニングにおいて、もう一つの重要な側面です。基本的な変換、例えば回転や反転などに拡張を制限することを提案します。ユーザーは、リモートセンシングに最も効果的なデータ拡張を探求することも奨励されており、これが実務者に関連する貴重な発見をもたらすかもしれません。

ベンチマークの使用を促進するために、実験プロセスのさまざまな段階に向けたツールの範囲を提供しています。これらのツールは、データセットの読み込み、結果の可視化、モデルのトレーニングのためのオプションを提供し、すべてオープンソースのコードベースに含まれています。

#GEO-Benchの結果の報告

異なる出版物間で信頼性があり比較可能な結果を生成するために、ユーザーには結果を報告する際に特定の手順に従うことを提案します。これにより、個々のタスクの結果が利用可能で、すべてのタスクにわたって集計された結果が得られ、信頼できる信頼区間が含まれます。

信頼できる信頼区間を確立するためには、ランダムシードの使用が重要です。私たちのプロセスに記載されているように、数回のシードで実験を実行するだけでは不十分です。事前トレーニングとハイパーパラメータ探索は最もリソースを必要とする部分であるため、選択した構成を少なくとも10の異なるシードで再トレーニングすることをお勧めします。

私たちは、パフォーマンスメトリックとして四分位平均（IQM）を使用することを提案します。この方法は、上位および下位25％の値を削除して残った結果の平均を求めることで、偏りを減らし、より安定した測定値を生成します。

複数のタスクにわたるパフォーマンスメトリックを集約する際には、まず値を正規化することが重要です。一般的な方法は、基準点に基づいて線形変換を適用することです。強力なモデルで見つかった基準メトリック値を基準点として使用することを提案します。このアプローチにより、結果をスケーリングして最高のスコアが1、最低が0となるようにできます。将来のモデルが1を超えるスコアを達成した場合、進展を示します。

ブートストラップを通じて、観察されたIQMに関する不確実性を評価できます。このプロセスでは、異なるシードを使用して生成された結果からサンプルを交換しながら引き出し、IQMを計算します。これを繰り返すことで、分布を抽出し、信頼区間を生成します。

GEO-Benchで提示されるフォローアップ結果は、特定のモデルのすべてのデータセットにわたるIQMを集約することを目指しています。信頼区間については、 stratified bootstrappingを推奨しており、シードを交換しながら各データセットのIQMを計算します。

#関連研究

我々はGEO-Benchを他のベンチマークから区別することを目指しています。SustainBenchは、7つの持続可能な開発目標に焦点を当てた15の公開データセットで構成されており、二次元のリモートセンシングタスクも含まれています。公開リーダーボードを提供していますが、ソリューションフレームワークや総合モニタリングを目指してはいません。

TorchGeoは、リモートセンシングデータセットをPyTorchエコシステムに持ち込むことを目指すPythonライブラリで、さまざまなタスクのために52の公開データセットのデータローダーを特徴としています。私たちのベンチマークはTorchGeoと直接インターフェースしており、一部のデータセットのためにそのローダーを使用しています。

EarthNetsは最近開発されたプラットフォームで、リモートセンシングデータセットに対する深層学習手法を400の公開データセットのメタデータを分析して評価しています。彼らの分析はデータセットの相関を強調し、クラスタを提案しています。しかし、私たちは結果を集約し、不確実性を報告するための包括的な方法論を提供する12のデータセットの幅広いコレクションを提供しています。

AiTLASは22の分類データセットを持つベンチマークを導入しましたが、そのうち3つは我々のデータセットと重複しています。それらは既存のデータセットのために、トレーニング、バリデーション、テストの分割を標準化し、より正確なテストメトリックを提供しています。しかし、私たちのベンチマークは、より多様なデータセットに焦点を当て、結果の報告と組み合わせのための堅牢な方法論を提案しています。

#モデルのパフォーマンス評価

我々は、分類およびセグメンテーションベンチマークのための基準点のセットを提供し、将来の評価の参考点として役立てます。モデルのパフォーマンスに関して重要な質問に答えることを目指しています。リモートセンシングデータに対してどの新しいアーキテクチャが最も効果的か、トレーニングセットのサイズがモデルのパフォーマンスに与える影響、マルチスペクトルチャンネルが結果を向上させるか、大規模なデータセットの方がモデル間の識別パフォーマンスを向上させるかどうかなどです。

各モデルの最終層をタスクに適したランダムに初期化された層に置き換えます。異なる学習率は、事前トレーニングされた重みに基づいて、最終層とバックボーンに適用されます。最良の学習率は16の試行を通じて異なる値をテストすることで決定されます。

ベースラインパフォーマンスを比較する際には、トレーニングセットサイズに基づいてモデルがどのように振る舞うかを観察します。これは、効果的なモデルトレーニングのために適切なデータセットサイズを選択する重要性を反映し、異なるモデルのパフォーマンスを洞察する手助けになります。

マルチスペクトルデータをどのように組み込むかが、事前トレーニングとファインチューニングの結果にどのように影響するかを探るために追加の実験を行います。我々の発見によると、RGBデータのみで事前トレーニングされたモデルを使用し、それを拡張するだけでは、常に一貫したパフォーマンスの向上にはつながらないかもしれません。しかし、データセット固有のテクニックを使用して事前トレーニングされたResNet50を活用すると、 modestなパフォーマンスの向上が見られます。

#リソース使用状況

GEO-Bench評価の一環として、さまざまなアルゴリズムのリソース使用状況を報告します。これには、処理に必要なメモリや時間が含まれます。モデルサイズによってメモリ使用量が増加することがありますが、実用アプリケーションにおいてはフォワードパスの速度は効率的であるべきです。

#基盤モデルの影響

リモートセンシングと地球モニタリングは大きく進化しており、農業、気候科学など多くの分野に影響を与えています。これらの変革の多くは、深層学習モデルに依存するものではありませんが、その導入はさまざまなプロセスにポジティブな影響を与える可能性があります。

一つの重要な焦点は気候変動です。リモートセンシングにおける機械学習の応用は、数多くの気候関連の問題に対するソリューションを提供します。多くの既存のソリューションは、開発に多大なリソースを必要とし、特定の地域にしか適用できないアプローチを取ることが多いです。この制限は、気候変動の影響を受ける経済的に発展していない地域にとって課題となります。

基盤モデルは、これらのギャップを埋めて気候課題のための新しいリモートセンシングソリューションの開発を迅速に進める助けになるかもしれません。また、特定のタスクごとに大規模なラベル付きデータセットをキュレーションする必要を減らし、小規模な組織や研究者がこれらのモデルにアクセスしやすくすることができます。

しかし、基盤モデルの台頭は期待外れの使用を引き起こし、ネガティブな影響をもたらす可能性もあります。さらに、大規模な事前トレーニングモデルは、そのトレーニングプロセス中に substantialな排出をもたらす可能性があることが研究によって示されています。これらのモデルの潜在的な利益（気候変動の取り組みを助けるなど）と環境コストのバランスを見つけることが重要です。

より環境に優しいエネルギー源を持つデータセンターを注意深く選択し、効率的なパイプラインを設計することで、排出量を大幅に削減することができるかもしれません。これらのモデルからの排出をより良く管理するために行われる努力は、気候変動への取り組みの一環となります。

#モデルにおける公平性とバイアス

大規模なモデルはしばしばバイアスを示しますが、これは言語モデルにおいてリスクをもたらします。一方、リモートセンシングモデルにおけるバイアスは、影響が比較的小さいと考えられます。しかし、潜在的なバイアスは依然として存在します。

データカバレッジに関して、一部の衛星システムは標準解像度を世界中に提供し、広範なアクセスを確保しています。しかし、Maxarのような他のシステムはコストと低い再訪率に基づいて制約があります。衛星技術の進歩により、一部の地域ではデータの可用性が向上し、公平性の問題を引き起こす可能性があります。

GEO-Benchは基盤モデルによる地球モニタリングの進展を促進することを目指していますが、アクセスの平等を確保し、これらのモデルの影響に対処することが重要です。それらが発展するにつれて、意図しない結果を避けるために社会的な影響を評価し続けることが必要です。

結論として、GEO-Benchは地球モニタリングのための基盤モデルの改善を推進するために設定されています。多様なベンチマークを提供し、さまざまなデータセットを評価し、モデルの改善を奨励することで、我々は地球の監視がより効果的で、アクセスしやすく、持続可能になる未来を期待しています。