ReContact、動画から接触計画を再構成するヒューマノイド操作手法を提案

何が起きたか

論文「ReContact: Reconstruct and Retarget Human Contacts from Video for Contact-Rich Humanoid Manipulation」が2026年11月2日、arXivに掲載された。人の動画から物体と身体の接触計画を再構成し、ヒューマノイドの全身操作に移す手法を提案している。シミュレーション評価に加え、Unitree G1で接触を伴う操作7タスクと、移動を伴う操作2タスクを実行した。

詳細

ReContactの接触計画は、接触段階、接触する部位の組、接触位置、押す方向、固着または滑りのモードを指定する。物体の姿勢推定では接触に関する事前情報を使い、計画した位置で指定方向に力を加えるよう、固定した全身動作トラッカーに残差ポリシーを組み合わせる。 シミュレーションの大腿部で物体を支え直すタスクでは、3つの学習シードにおいて計画した両掌による底面保持をエピソードの「83.5」で達成したと記載し、適応させたベースラインの最高値は0.16%としている。247件の参照動作で学習した単一ポリシーは、新たな配置への再適用で、作業範囲内のチューブ移送成功率を、元の参照動作のみを使った場合の20.4%から97.8%に高めた。要旨の「83.5」には単位の明記がない。

Key Facts

本紙の見方

この研究の焦点は、動画からロボットの動作軌道を写すだけでなく、物体をどこで支え、どの方向に力を加えるかを接触計画として扱う点にある。要旨は、身体による遮蔽で物体の姿勢推定が乱れること、軌道を再現しても必要な接触力が得られるとは限らないことを課題に挙げる。接触段階や固着・滑りまで指定する設計は、手だけの把持を超える操作を狙う研究上の新しさとみられる。一方、人の動画をロボット学習に使う発想自体を、この論文だけから新規と断定することはできない。 本紙が扱ったソウル大の研究チーム、歩行と物体操作を連携するAIを開発は、別々に収集した歩行と物体操作のデータを組み合わせ、複数段階の作業を連続して行うAIを報じた。両者は、全身動作と物体操作を結びつける点では接するが、ReContactの要旨が示す中心は、データの組み合わせではなく物体と身体の接触条件の再構成である。異なる課題設定として読む必要があり、同一方式の進展を示すものではない。 実装上の含意は、動画由来の動作を再利用する際、位置や軌道に加えて接触位置と力の向きを学習・評価対象に置くことにある。これが機能すれば、物体を身体の別の部位で支え直す操作を扱うポリシー設計につながる可能性がある。ただし、要旨の数値はシミュレーション上の特定タスクに関するもので、Unitree G1で実行した9タスクの成功率や所要時間を示してはいない。実機でのタスク実行と、反復可能な性能や現場での稼働は区別すべきだ。 次に確認すべきなのは、実機タスクごとの成功条件・試行数・失敗率、異なる物体や環境への適用範囲、動画から接触計画を作る際の精度である。また、247件の参照動作の内容や選定条件、実機で接触力をどのように計測・制御したかも、要旨だけでは分からない。これらが明らかにならなければ、シミュレーションでの改善幅を実環境の操作能力へそのまま結びつけることはできない。

なぜ重要か

ReContactは、物体の軌道再現だけでは不十分になり得る接触の位置や力の向きを、ロボット向け計画に含める手法を示した。Unitree G1で9タスクを実行した一方、要旨には実機での成功率が示されておらず、研究上のタスク実行と安定した運用実績は分けて評価する必要がある。