RGB-Dビデオ生成で人からロボットへの物体受け渡し予測を改善 新データセットHand2Botと生成パイプラインPassGenを提案

何が起きたか

研究チームは、人からロボットへの物体受け渡し（H2R）予測の課題を解決するため、RGB-Dビデオデータセット「Hand2Bot」と生成パイプライン「PassGen」を提案した。PassGenは安定ビデオ拡散と意図認識型時間顔エンコーダを用いて、手と物体の一貫性を保ったリアルな受け渡しシーケンスを合成する。実験では高い意図識別精度と低い誤トリガー率を達成し、ゼロショット転移と早期の意図予測が可能であることを確認した。

詳細

人とロボットの協調（H2R）における物体受け渡しは、人間とロボットの協働の基本的な能力である。しかし、大規模で人間中心のデータセットの不足と、シミュレーションと実環境のギャップ（sim-to-real gap）が進歩を妨げている。この課題に対処するため、研究チームはHand2Botを導入した。Hand2Botは、受け渡しシナリオに特化して収集されたRGB-Dビデオデータセットであり、身体姿勢や表情などの豊富な文脈情報を提供し、実世界のノイズパターンを含む。 さらに、PassGenと呼ばれる生成パイプラインを提案した。PassGenは、安定ビデオ拡散と意図認識型時間顔エンコーダを活用し、手と物体の一貫性を確保しながら、リアルな受け渡しシーケンスを合成する。シミュレーションと実環境のギャップを埋めるため、形態に基づく深度編集戦略を実装し、物理的な深度マップに見られる現実的なセンサーノイズを再現する。 実験評価では、提案フレームワークは、アブレーション研究と物理ロボットプラットフォームでの実環境展開の両方において、高い意図識別精度と低い誤トリガー率を達成した。結果は、PassGenでのトレーニングにより、従来の手中心のベースラインと比較して、堅牢なゼロショット転移とより早期の意図予測が可能になることを示しており、共有ワークスペースでの社会的に認識されたロボット行動を効果的に実現する。

Key Facts

なぜ重要か

この研究は、人とロボットの協調における物体受け渡しの予測精度向上に寄与する。生成データを活用することで、大規模データセットの不足とsim-to-realギャップという課題に対処し、ロボットの社会的行動の実現に貢献する可能性がある。