遮蔽された環境での3D人間ポーズ推定の改善
遮蔽があってもポーズ検出を強化する新しいアプローチ。
― 1 分で読む
3D空間での人間のポーズを検出するのは難しい作業だよね、特に体の一部が見えなくなっちゃうとき。これをオクルージョンって呼ぶんだけど、実際の生活ではよくあることなんだ。人が動き回ったり、他の物体が邪魔をしたりするからね。3Dの人間のポーズ検出についてはたくさんの研究があるけど、オクルージョンへの対処に特化した研究はあまり多くないんだ。
この問題に対処するために、私たちは新しい方法を提案するよ。それは、体の動きの時間ベースの情報を使いながら、モデルをトレーニングするときにフェイクのオクルージョンを追加すること。これによって、体の一部が見えなくても3D人間ポーズの検出精度が向上することを願ってるんだ。
3D人間ポーズ推定とは？
3D人間ポーズ推定は、ある人の体の関節が3次元空間のどこにあるかを特定することを指すよ。このプロセスは通常、2つの主なステップを含む。最初に、2D画像の関節の位置を検出し、その後、これらの2Dポイントを3Dポーズに変換するって感じ。
この問題には2つの主なアプローチがあるよ。1つ目は画像から直接3Dポーズを推定する方法で、2つ目は2Dポーズを使ってそれを3Dに引き上げる方法。最近では2つ目のアプローチがより良い結果を出してるね。
オクルージョンの課題
オクルージョンは人間のポーズ推定における一般的な課題なんだ。例えば、誰かの腕が壁の後ろにあると、センサーがそれを見つけられなくて、全体のポーズを推定するのが難しくなるんだ。多くの研究では、オクルージョンの問題が十分に検討されていない。現在の方法は、関節が部分的にまたは完全にブロックされている状況に対処するのが苦手なんだ。
以前の研究では、多くのモデルがオクルージョンに苦しんでいて、パフォーマンスが大幅に低下することが示されている。そのため、体の一部が見えないときにこれらのモデルがどれだけうまく機能するかを評価することが重要なんだ。
私たちのアプローチ
オクルージョンに対処するモデルを改善するために、StridedPoseGraphFormerというモデルを開発したよ。このモデルは、グラフ畳み込みやトランスフォーマーなどの高度な技術を使ってポーズを分析し、トレーニング中に合成オクルージョンを取り入れるんだ。
このモデルをさまざまなオクルージョンのシナリオで評価して、既存の方法と比較してどれだけパフォーマンスがいいかを見ているよ。私たちの目標は、私たちのアプローチが従来のモデルよりもオクルージョンから回復するのが得意だということを示すことなんだ。
時間ベースの情報の重要性
以前のモデルは主に単一画像からの情報を使ってた。でも、私たちの方法は空間的データと時間ベースのデータの両方を活用するんだ。一連のフレームを処理することによって、モデルは関節が欠けていても、どこにあるべきかをより良く予測できるようになるんだ。
フレーム間の関係を理解することで、モデルはより情報に基づいた予測ができるようになる。だから、ある関節が見えなくても、周辺のフレームにある関節の位置を頼りにして、オクルージョンされた関節がどこにあるかを推定できるんだ。
トレーニングのためのデータ拡張
私たちのモデルがオクルージョンにうまく対処できるように、データ拡張という技術を使ってる。この方法では、トレーニングデータのオクルージョンバージョンを人工的に作るんだ。特定の関節の座標をランダムにゼロに設定することで、関節が見えないシナリオをシミュレーションするんだ。
この方法は、モデルが情報が全て揃っていない場合にポーズを予測する学習を促進するんだ。テスト中に実際のオクルージョンに直面したとき、似たような課題に対処する練習ができてることになるんだ。
パフォーマンスの評価
私たちのモデルの効果を評価するために、Human3.6Mというよく知られたデータセットを使っていくつかの実験を行ってる。このデータセットには、様々な行動をしている人々を撮影した数百万の画像が含まれていて、ポーズ推定方法を評価するためのしっかりとした基盤を提供してるんだ。
私たちは、異なるレベルのオクルージョン下でのモデルのパフォーマンスに注目しているよ。特に、オクルーダーがどれだけの関節を含んでいるか、または複数のフレームでオクルーダーが表示されるときにモデルがどう反応するかを見てるんだ。
実験結果
私たちのテストでは、StridedPoseGraphFormerモデルが多くの既存の方法よりも良い結果を出している、特にオクルージョンが大きい状況でね。他のオクルージョンを考慮しないモデルと比較したとき、関節が欠けているときにそれらのモデルはパフォーマンスが悪かったんだ。
例えば、高レベルのオクルージョンに直面したとき、私たちのモデルは良い精度を維持していたよ。オクルーダーの数が増えるにつれて、他のモデルのパフォーマンスは劇的に低下したけど、私たちのモデルはしっかりとした耐性を示したんだ。
結論
私たちの発見は、3D人間ポーズ推定のモデルのトレーニングにおいて、時間ベースの情報とデータ拡張の両方を取り入れることの重要性を強調しているよ。オクルージョンの問題に直接取り組むことで、StridedPoseGraphFormerモデルを使って、体の一部が見えなくても人間ポーズの検出でより良い結果を達成することができることを示したんだ。
要するに、スポーツ分析からアニメーションまで、正確な人間ポーズ推定のニーズが高まる中で、オクルージョンのような課題に対処することが、この分野を進展させるための鍵になるんだ。私たちの研究は、現実世界の複雑さに対応できるより強固で信頼性の高いポーズ推定方法への一歩となるよ。
タイトル: Occlusion Robust 3D Human Pose Estimation with StridedPoseGraphFormer and Data Augmentation
概要: Occlusion is an omnipresent challenge in 3D human pose estimation (HPE). In spite of the large amount of research dedicated to 3D HPE, only a limited number of studies address the problem of occlusion explicitly. To fill this gap, we propose to combine exploitation of spatio-temporal features with synthetic occlusion augmentation during training to deal with occlusion. To this end, we build a spatio-temporal 3D HPE model, StridedPoseGraphFormer based on graph convolution and transformers, and train it using occlusion augmentation. Unlike the existing occlusion-aware methods, that are only tested for limited occlusion, we extensively evaluate our method for varying degrees of occlusion. We show that our proposed method compares favorably with the state-of-the-art (SoA). Our experimental results also reveal that in the absence of any occlusion handling mechanism, the performance of SoA 3D HPE methods degrades significantly when they encounter occlusion.
著者: Soubarna Banik, Patricia Gschoßmann, Alejandro Mendoza Garcia, Alois Knoll
最終更新: 2023-04-24 00:00:00
言語: English
ソースURL: https://arxiv.org/abs/2304.12069
ソースPDF: https://arxiv.org/pdf/2304.12069
ライセンス: https://creativecommons.org/licenses/by/4.0/
変更点: この要約はAIの助けを借りて作成されており、不正確な場合があります。正確な情報については、ここにリンクされている元のソース文書を参照してください。
オープンアクセスの相互運用性を利用させていただいた arxiv に感謝します。