クラスタリング技術でオフライン学習を改善する

最近、深層強化学習（DRL）への関心が高まっているけど、実際の応用には課題がある。DRLは環境と対話しながら学習するのが普通だけど、それはコストが高く危険なことが多い。そこでオフラインポリシー学習が重要になってくる。オフラインポリシー学習は、過去に集めたデータセットから意思決定戦略を導き出すもので、環境との追加の対話を必要としない。

データセットは固定されているから、その質が意思決定戦略のパフォーマンスに大きく影響する。データセットの特性の一つにマルチビヘイビアというのがあって、これは異なる行動をする複数の戦略を使って集められたデータセットのこと。一方、ユニビヘイビアデータセットは一つの戦略だけを使って集められたものだ。私たちの研究では、ユニビヘイビアデータセットから学習した戦略は、マルチビヘイビアデータセットから学習したものよりもパフォーマンスが良いことが分かった。ユニビヘイビアデータセットの方が例が少ない時でも。

この問題に対処するために、マルチビヘイビアデータセットをユニビヘイビアの部分集合にグループ化する新しい方法を考案した。このグループ化が下流学習のパフォーマンスを改善するのに役立つはずだ。戦略をユニークな行動に基づいて分けて、将来の学習のために有利な形で整理することを目指している。私たちの方法は柔軟で、あらかじめ正確なグループ数を必要とせずに必要なグループ数を特定できる。さまざまなタスクでテストした結果、顕著な効果を観察した。

#実際の応用の問題

深層強化学習は従来の方法よりも優れていることが証明されているが、実際の応用が制限されている。これは主に、DRLが環境との多くの対話を必要とするオンライン学習手法と見なされがちだからで、それが高コストでリスクがあるからだ。それに対して、オフラインポリシー学習は静的データセットを用いて戦略を見つける方法で、リスクのある対話の必要性を減らす。

オフラインポリシー学習は効率的で、一つのデータセットを様々な学習試行に使える。しかし、課題もある。主な制約の一つは学習が静的データセットに結びついていること。

私たちはマルチビヘイビアデータセットに注目している。この種のデータセットはさまざまな戦略から得られ、複雑なデータパターンを生むことがある。たとえば、異なる人間や異なるスキルを示すスクリプト戦略からデータを集めた場合、マルチビヘイビアデータセットができる。一方、一つの戦略だけで集めたデータセットはユニビヘイビアと呼ばれる。

#データセットのパフォーマンスに関する観察

マルチビヘイビアデータセットとユニビヘイビアデータセットで訓練した戦略を比較したところ、面白い結果が得られた。ベンチマークからのさまざまなタスクを使って、ユニビヘイビアデータセットから学んだ戦略は、目的を達成するのが早く、一貫性があった。たとえユニビヘイビアデータセットの方が小さくて多様性が少なくても。

この違いは、マルチビヘイビアデータセットが同じ状況に対してさまざまな行動分布を生み出すことに起因していると思われる。これは模倣学習、いわゆる行動クローンによる学習においては有害になることがある。

私たちの観察から、同じデータセットを異なる使い方をすると、非常に異なる結果が生まれることがわかった。データセットの一部から学んだ戦略が、全体のデータセットから学んだ戦略を上回ることもある。

これらの洞察を元に、マルチビヘイビアデータセットのパフォーマンスを改善するための方法を考えた。私たちのアプローチはクラスタリングを活用し、類似したデータをまとめて、学習システムがより効果的に扱えるようにする。

#クラスタリング技術

クラスタリングは、データを類似度に基づいてグループに分ける方法で、目標は一つのグループ内のデータを非常に似たものにし、グループ間を大きく異なるようにすることだ。一般的に使われるデータのグループ化方法はK-meansで、これはデータポイントをセントロイドと呼ばれる中心点の周りにクラスタとして整理する。

でもK-meansには限界がある。丸い形のグループを好む傾向があり、事前に特定の数のクラスタを定義する必要がある。グループ数がわからないと効果的に機能しない。逆に、密度ベースのクラスタリング方法は、特定の数を定義せずに任意の形のクラスタを識別できる。これらの方法は、特定の距離に基づいて互いに近いポイントがクラスタの一部となるという概念を使う。

最近では、従来のクラスタリング方法と深層学習技術を組み合わせた深層クラスタリングが注目されている。これは高次元データをより良く扱えるが、従来の方法の複雑性や明確性の欠如といった弱点も持っている。

K-meansは多くの研究で学習結果を改善するために使われてきた。たとえば、K-meansは学習プロセスからのデータを明確なクラスターにグループ化することができる。各クラスタはユニークな行動を表現でき、学習エージェントが多様なスキルを習得するのに役立つ。

私たちのクラスタリングアプローチは、事前にクラスタの数を定義する必要がなく、さまざまな形に適応できる点で際立っている。パラメータの調整の必要性を最小限に抑え、より明確な結果を提供する。

#私たちの方法に必要な概念

私たちの方法は、学習環境が異なる状態、行動、報酬を通じて定義できる問題として構造化されることを理解することに関わっている。私たちが扱うデータセットは、事前に訓練された戦略が環境と相互作用する中で得られる。

これらのデータセットには、相互作用中に取られた行動のさまざまなシーケンスが含まれており、それぞれがデータセット内の遷移を表現している。私たちの作業では、異なる戦略で収集された複数のユニビヘイビアデータセットを混ぜてマルチビヘイビアデータセットを作成した。

各戦略には独自の行動があり、異なる戦略に基づいて取られる行動は同じ状態でも変わる可能性がある。しかし、実際のシナリオにおける意思決定の性質上、同じ状態でも異なる戦略によって似たような行動が取られることもある。

#タスクと収集したデータセット

私たちのデータセットは、ベンチマークプラットフォームのさまざまなタスクから得られている。私たちは、学習方法が効果的にテストされる特定のタスクに焦点を当てている。

運動タスク: オフライン学習の世界で広く認識されている。エージェントが体の関節を制御してバランスを取りつつ前に進む必要がある。運動タスクには、HalfCheetahやAntなどが含まれる。

ロボットハンド操作: 特定のタスクを達成するためにロボットハンドを制御することが含まれる。これは、釘を打つためのハンマーを操作したり、ドアを開けたり、ペンを所定の位置に移動したりすることが含まれる。

トライフィンガーロボット操作: ここでは、3本の指を持つロボットシステムが複雑な立方体の操作を行うタスクがある。押したり持ち上げたりすることが含まれる。

データセットを集める際、特定の条件を設定して現実的で挑戦的なものにすることを確認した。これには、戦略間で異なるスキルレベルを持たせたり、タスクの複雑さを高めるためにデータセット内に複数の行動を含めることが含まれる。

#行動データの理解

データセットを効果的にクラスタリングし、グループ化する前に、行動データ自体を分析する必要がある。行動データは、さまざまなシナリオでの戦略の行動を反映していて、意思決定の全体像を語るわけではないが、使用される戦略の行動特性に関する重要な洞察を提供する。

たとえば、異なる個人が物理的タスクを実行する際に力を加える方法や動く速度が異なることがある。こうした独特なパターンは、似た行動を効果的にグループ化する手がかりを与えてくれる。

私たちの分析では、似た戦略によって取られる行動は、行動空間内でしばしば近くに集まっており、高密度の領域を形成することが分かった。これにより、行動のパターンを利用してデータセットを効果的にグループ化できる。

ただし、個別の行動だけに頼ってクラスタリングを行うと、満足のいく結果が得られない。これは、戦略が似たように振る舞うときに分布が重なるためだ。これを克服するために、私たちは時間を通じて行動シーケンスを要約する方法を提案した。これにより、戦略の行動をよりよく反映できる。

#行動に配慮した深層クラスタリング

K-meansはある程度役立つが、その限界により実用的ではない。特に事前にグループの数を定義する必要があるので、私たちは存在するクラスタ数を正確に推定するより適応的なクラスタリングアプローチを開発した。単にデータをグループ化するのではなく、似た行動のクラスタを取り除く反復プロセスを含む。

まず、大きなデータセットから少数の共通の行動を引き出し、シードセットを作成する。このシードを使って、マルチビヘイビアデータセットでの行動を分けるための分類器を訓練し、クラスタリングが完了するポイントに到達するまで進める。

このプロセスの反復的な性質により、各ラウンドで生成されたクラスタを精査し改善し、最適な結果に導く。初めから正確なクラスタ数は必要ない。

#ポジティブ・アンラベルフィルタの動作

行動のシードセットを作成したら、類似の行動を示す他の要素をデータセットでフィルタリングする。これは、ポジティブ・アンラベル（PU）フィルタと呼ばれる方法を使って行う。

PUフィルタリングでは、既知の行動にラベルを付け、それを使ってポジティブサンプルとネガティブサンプルを区別する。ポジティブサンプルはシードセットからのもので、ネガティブサンプルはデータセットに見られないさまざまな状態や行動を組み合わせて作られる。

そこから、これらの2つのサンプルタイプを区別するためにバイナリ分類器を訓練する。この分類器は、特定の行動セットがシードグループの行動に似ているかどうかを示す確率に基づいて評価される。

このフィルタリングプロセスを経て、シードからの行動と一致する他の軌跡を特定し、次のフィルタリングのためのより大きなシードデータセットを構築できる。

#最終的なクラスタリングチェック

クラスタリングの反復中に最終的なチェックを行い、データの確率分布を分析する。シードセットで定義した行動の周りに明確な分布が形成されることを期待している。反復が進むにつれて、低確率のグループがサイズを縮小し、最終的には存在しなくなることを望んでいる。

低確率の項目の数が特定のしきい値を下回ったとき、最終的なクラスタを指定する。この方法により、定義されたクラスタが正確で、行動に基づいていることを確信できる。

#パフォーマンス評価

私たちの方法が従来の方法と比べてどれほど効果的かを見るため、調整済みランダムインデックス（ARI）を用いて評価を行った。高いARIは、より良いクラスタリング結果を意味する。

私たちの方法とK-meansなどを比較したところ、私たちのアプローチは常に高いスコアを達成し、すべてのデータセットで強いパフォーマンスを示した。さらに、ノイズや不均衡に対するロバスト性もテストし、私たちのクラスタリング方法が困難な条件でも効果的であることを示した。

#オフラインポリシー学習におけるクラスタリングの利点

データセットをクラスタリングした後、それをオフラインポリシー学習に適用できる。つまり、各クラスタからデータを用いて戦略を訓練し、全体のマルチビヘイビアデータセットから訓練されたものと比較して最もパフォーマンスの良い戦略を選択できる。

私たちの結果では、クラスタリングした部分から訓練されたポリシーが、マルチビヘイビアデータセットから訓練されたものを上回ることが示され、クラスタリングデータを使用する利点を強調している。

私たちの方法は、状態を行動にマッピングする通常のデータセット学習においても明確な利点を提供しており、より明確で焦点を絞ったデータセットは、より良い学習結果をもたらす。

#結論

つまり、私たちの方法はマルチビヘイビアデータセットをユニビヘイビア部分集合にクラスタリングすることで、オフラインポリシー学習を改善する実用的な解決策を提供する。このアプローチはパフォーマンスを効果的に向上させ、限られたデータセットからのより良い意思決定戦略を可能にする。

今後もこの方法をさらに洗練させ、より広い応用に適応させることを目指している。人間のデモンストレーションを取り入れたり、私たちのクラスタリングアプローチと連携して動作するより高度なアルゴリズムを開発したりすることを考えている。継続的な研究を通じて、オフライン学習やポリシー開発の領域で可能性の限界を押し広げることを目指している。