人間とのやりとりをもっと良くするためにペッパーロボットが強化されたよ

ペッパーのロボットは人と interact する能力で知られてるんだ。もっと人間の行動を理解して反応できるように、ハードウェアとソフトウェアに重要な変更を加えたんだ。これにより、ペッパーが周りの人をスマートに見ることができる新しいツールが追加された。

#ロボットのハードウェアのアップグレード

最初の作業はペッパーの物理的な部分をアップグレードすることだった。ペッパーは情報処理や周囲のことを認識するのに限界があったんだ。この制約のせいで、ペッパーは人間の行動を理解する必要がある複雑なタスクをこなすのが難しかった。

この問題を解決するために、 NVIDIA Jetson Orin Nano GPU を追加した。この新しいコンピュータは、ロボットが同時にもっと多くのタスクを処理し、情報をより速く分析できるようにする。Jetsonはペッパーにぴったりのサイズで、エネルギーもあまり使わないから、ロボットがバッテリーを節約するのに役立つ。

さらに、Intel RealSense D435iカメラを取り付けた。このカメラは深度画像をキャッチできるから、物の距離を理解できる。GPUとカメラの組み合わせで、ペッパーは周囲やその中の人々をずっとよく見えるようになる。

最後に、外部バッテリーを追加して、70分以上の電力を供給できるようにした。新しいハードウェアがペッパーの既存のバッテリーに簡単に接続できなかったから、この変更はロボットが効果的に動作するために必要だった。

#新しいハードウェアのための部品設計

新しいハードウェアをペッパーに取り付けるために、カスタムの3Dプリント部品をデザインした。これらの部品はGPU、カメラ、バッテリーをしっかり固定するのに役立つ。デザインは、新しい機材の影響でペッパーが正常に機能できるようにしている。

1. カスタムボックス: ボックスはGPUとバッテリーを仕切りで分けて収納してる。空気の通り道があって、GPUのパフォーマンスを保つために冷やしてくれる。

2. カメラマウント: カメラ用のマウントは強くてコンパクトで、振動を減らしてる。カメラが固定位置にあるから、簡単にキャリブレーションできる。

3. 全体構造: 新しいコンポーネントがペッパーの動きやタスクの要求に耐えられることを確認した。

#ペッパーの人間理解の向上

ペッパーは人間を追跡する能力があったけど、正確な位置や向きを判断できなかった。人間の体の位置や視線を理解することは、ロボットが人と上手くインタラクトするために重要なんだ。

この能力を向上させるために、新しいハードウェアと連携するソフトウェアを開発した。このソフトウェアは、ペッパーが人間を検出し、ポーズを推定し、向いている方向を理解するのを助ける。

新機能を実装するために、ROS（ロボットオペレーティングシステム）というシステムを使った。このソフトウェアは、ペッパーがハードウェアとより良くコミュニケーションして、新しいプログラムをスムーズに動作するのを可能にする。

#人間を検出して位置を推定する

ソフトウェアの重要な部分は、YOLOv8と呼ばれるモデルで、リアルタイムで人間を検出するのに役立つ。このモデルは人々がどこにいるか、どういう位置にいるかを識別できる。RealSenseカメラの深度情報を使って、モデルの2Dデータとカメラの3Dデータを組み合わせて、各人の体の部分がどこにあるかを明確にする。

このプロセスを改善するために、背景ノイズをフィルタリングする方法を開発した。これにより、ロボットはインタラクションしている人間に焦点を合わせることができる。さらに、Kalmanフィルターを使って、特にカメラに直接向いていない時の、ロボットの理解の不一致をスムーズにする。

#テスト用のモーションキャプチャデータセット

改善が効果的に機能することを確認するために、モーションキャプチャ技術を使ってデータセットを作成した。これには、複数のカメラを使って人の動きを制御された空間で追跡することが含まれる。様々なアクションを一貫した環境でキャプチャすることによって、ロボットの知覚能力をテストして向上させるための基準を作成できる。

データセットには、普通に歩く、腕を組んで歩く、ジグザグに動くといったさまざまな動きが含まれている。各セッションは一人につき約2分間続きます。このセットアップによって、ペッパーが新しい情報をどれだけうまく活用できるかを評価できる。

#新しいシステムの統合

新しいハードウェアとソフトウェアを使って、ペッパーは人間の行動をより効果的に理解できるようになった。強力なGPUによって画像やデータの迅速な処理が可能になり、RealSenseカメラがペッパーに周囲の詳細なビューを提供している。

誰かがペッパーの視界に入ると、ロボットはその人を検出し、ポーズを推定し、どこを見ているかを判断するためにソフトウェアを使用する。このハードウェアとソフトウェアの相乗効果が、人とロボットのインタラクションを改善するカギとなっている。

#アップグレードの影響

これらの改善により、ペッパーは人々が何を求め、どのように行動しているかを理解するチャンスが増えた。医療、教育、エンターテインメントなどの様々な分野で、ペッパーのインタラクション能力が非常に価値のあるものになる。

例えば、医療の現場では、ペッパーは患者の感情を認識して会話に参加することで協力できる。教室では、生徒のニーズにより良く応え、インタラクティブな学習ツールになることができる。エンターテインメントでは、訪問者に個別の反応を提供することで、より魅力的になることができる。

#結論

この作業は、ペッパーのロボットをアップグレードして人とのインタラクションを改善することに重点を置いてきた。NVIDIA GPUやRealSenseカメラなどの先進的なハードウェアを統合し、人間の検出やポーズ推定のための新しいソフトウェアを開発することで、ペッパーの能力を大幅に向上させた。

これらの変更により、ロボットはリアルな環境での適応力が高まり、ユーザーにとってより豊かで意味のある体験を提供できるようになった。これらの強化によって、ペッパーは様々な環境で人々と接する準備が整い、人間とロボットのインタラクションにポジティブな貢献をすることができる。