全身操作2026/8/4arXiv:2608.03387v2

RoboReact: 生成された自己中心視点動画からのエージェント的スキル蒸留による全身操作の汎用化

RoboReact: Agentic Skill Distillation from Generated Egocentric Videos for Generalizable Whole-Body Manipulation

単一の自己中心視点RGB-D観察から全身ヒューマノイド操作スキルを自動合成するフレームワークを提案し、実機で汎用性と外乱耐性を実証した。

詳しい要約

1. どんなもの？

RoboReactは、単一のegocentric RGB-D観測から全身ヒューマノイド操作スキルを自動合成するフレームワークである。ビデオ生成モデルを用いて人間の操作ビデオを生成し、depth-aware 3D reconstructionにより幾何学を保持したinteraction keyframesを抽出し、高自由度のヒューマノイドプラットフォームにリターゲットする。さらに、online object-centric re-groundingとvision-language model (VLM)によるrefinement loopを統合し、物理的実行のギャップを埋める。最終的にwhole-body controllerで実行され、テレオペレーションや人間のデモなしで多様な物体構成に一般化し、外乱からの回復も可能である。

2. 先行研究と比べてどこがすごい？

先行研究では、ヒューマノイドのスキル獲得は高価なハードウェアデータ収集や手動アノテーションに依存していた。また、ビデオ生成モデルで合成された動作を実行可能なスキルに転送する試みは未開拓だった。RoboReactは、生成モデルとVLM推論、閉ループ制御を組み合わせることで、データ収集コストを削減し、一般化可能な全身操作を実現した点が革新的である。特に、幾何学を保持したリターゲティングとオンライン再接地により、シミュレーションと実世界のギャップを克服している。

3. 技術・手法の肝は？

手法の核は、(1) 単一のegocentric RGB-D観測から人間の操作ビデオを生成するビデオ生成モデル、(2) depth-aware 3D reconstructionによるinteraction keyframesの抽出、(3) 手と物体の相互作用幾何学を保持した高DoFヒューマノイドへのリターゲティング、(4) 幾何学的ミスマッチや実行偏差を適応するためのonline object-centric re-groundingとVLMガイド付きrefinement loop、(5) 全身協調操作を可能にするwhole-body controllerの統合である。

4. どうやって有効だと検証した？

実機のヒューマノイドロボットを用いた実験で検証された。多様な物体構成に対する一般化性能と、実行中の外乱からの回復能力が示された。テレオペレーションや人間のデモを必要としない点も確認された。具体的な評価指標や比較対象は要旨からは不明。

5. 議論はある？

要旨からは、生成ビデオの品質やリターゲティングの精度、VLMの推論コスト、実環境でのスケーラビリティなどに関する議論は明示されていない。また、提案手法の限界（例えば、複雑な物体操作や動的環境での性能）については言及がない。

6. 次に読むべき論文は？

要旨で参照されている関連研究として、ビデオ生成モデル（例: video generative models）、vision-language models、whole-body control、humanoid manipulation、skill distillation、egocentric video understandingなどが挙げられる。具体的な論文名は不明だが、これらの分野の代表的な研究を読むことが推奨される。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Shuliang He, Shuai Wang, Bo Yue, Junchi Teng, Changyu Wang, Guiliang Liu

分類: cs.RO

原文アブストラクト

Humanoid robots have the potential to perform dexterous manipulation in human environments, yet acquiring diverse and generalizable skills remains costly due to expensive hardware data collection and labor-intensive annotation. Recent advances in video generative models provide a promising opportunity to synthesize rich manipulation experiences from visual observations, but transferring such imagined behaviors into executable whole-body humanoid skills remains largely unexplored. In this work, we present RoboReact, a framework that automatically synthesizes whole-body humanoid manipulation skills from a single egocentric RGB-D observation. RoboReact generates human manipulation videos, extracts geometry-preserving interaction keyframes through depth-aware 3D reconstruction, and retargets them to high-DoF humanoid platforms while preserving hand-object interaction geometry. To bridge the gap between imagined plans and physical execution, RoboReact performs online object-centric re-grounding and leverages a vision-language model-guided refinement loop to adapt skills under geometric mismatch and execution deviations. The refined skills are executed through a whole-body controller, enabling coordinated whole-body manipulation and dexterous interaction. Experiments on real humanoid robots demonstrate that RoboReact generalizes across diverse object configurations and robustly recovers from execution disturbances without requiring teleoperation or human demonstrations. These results highlight the potential of combining generative models, vision-language reasoning, and closed-loop control for scalable humanoid skill acquisition.

arXivで原文を読む →arXiv概要ページ

← 論文一覧