日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

sim2realarXiv:2611.19196

Ego2Sim2Humanoid: ロボット実演なしで移動操作VLAを学習するエージェント型実世界→シミュレーション変換

Ego2Sim2Humanoid: Agentic Real-to-Sim for Learning Loco-Manipulation VLAs without Robot Demonstrations

シェア:XThreadsFacebookLINEはてブBluesky

一人称視点グラスで撮影した人間の作業映像から、物理的に検証済みのロボット学習用軌道を自動生成し、ロボット実演なしで移動操作VLAを学習できるようにした。

詳しい要約

1. どんなもの?

- 本論文は Ego2Sim2Humanoid というフレームワークを提案する。 - egocentric glasses による人間の記録を、物理的に検証済みのロボット学習用 trajectory へ変換する。 - ロボット実機の teleoperation デモンストレーション無しで loco-manipulation VLA を学習することを目指す。 - 変換後のデータセットのみで GR00T N1.7 を fine-tune し、Unitree G1 上で自律的に loco-manipulation タスクを実行した。

2. 先行研究と比べてどこがすごい?

- 従来の visuomotor policy の imitation learning は teleoperated robot demonstrations に依存し、訓練された operator と wearable body-tracking hardware を要するため高コストだった。 - egocentric glasses は robot や handheld grippers 無しで人間のデモを記録できるが、head と in-view human hands しか追跡できず、体格・arm reach・hand morphology の異なるロボットへ直接コピーしても feasible な contacts が得られない。 - 本研究はこのギャップを agentic real-to-sim 変換で埋め、実機デモ無しでの学習を可能にした点が新しい。

3. 技術・手法の肝は?

- agentic real-to-sim stage が RGB-D と head streams から collision・textured visual assets を再構成し、必要に応じて unseen surfaces を補完、操作対象上の target contact bands を予測する。 - motion adaptation では grasp planner が各 contact band を feasible な robot wrist pose と finger closure に変換する。 - bilevel stance optimization が hand targets を reachable に保つ collision-free standing postures を計画する。 - whole-body motion generator が lower-body locomotion と out-of-view arm motion を合成する。 - two-stage motion correction が visibility transiti…

4. どうやって有効だと検証した?

- 変換データセットのみで fine-tune した GR00T N1.7 が、real-robot demonstrations 無しに Unitree G1 上で loco-manipulation タスクを自律実行した。 - 詳細な評価指標・比較実験・タスク数は要旨からは不明。

5. 議論はある?

- 要旨からは不明。 - 関連して、object が camera view を外れる場合の manipulation phase 完了を two-stage motion correction で扱う点が言及されている。

6. 次に読むべき論文は?

- GR00T N1.7(fine-tune 対象の VLA) - Unitree G1(実機プラットフォーム) - egocentric glasses を用いた human demonstration 学習の関連研究 - real-to-sim / sim-to-real 変換に関する研究 - reinforcement-learning tracking policy による whole-body motion generation の関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Chen Liu, Nikolaus Correll

分類: cs.RO

原文アブストラクト

Imitation learning for visuomotor policies typically relies on teleoperated robot demonstrations, which are costly because every episode requires a trained operator controlling a physical robot in real time through teleoperation interfaces and wearable body-tracking hardware. Egocentric glasses capture human demonstrations without a robot or handheld grippers, yet they track only the head and in-view human hands, and directly copying human motion to a robot with different stature, arm reach and hand morphology fails to produce feasible contacts. \method{} converts egocentric glasses recordings into physically verified robot training trajectories. An agentic real-to-sim stage reconstructs collision and textured visual assets from the recorded RGB-D and head streams, completes unseen surfaces when needed, and predicts target contact bands on the manipulated objects. During motion adaptation, a grasp planner turns each contact band into a feasible robot wrist pose and finger closure, bilevel stance optimization plans collision-free standing postures that keep hand targets reachable, and a whole-body motion generator synthesizes lower-body locomotion and out-of-view arm motion. Two-stage motion correction then blends visibility transitions kinematically and trains a reinforcement-learning tracking policy in physics simulation under agent-designed semantic rewards, completing manipulation phases even when the object leaves the camera view. Rendering the reconstructed scene through the robot's onboard camera along the optimized rollout yields synchronized robot-view images, proprioception and verified action labels. Fine-tuned exclusively on this converted dataset, without real-robot demonstrations, GR00T N1.7 performed loco-manipulation tasks autonomously on a Unitree G1. Project page: https://robonana.github.io/ego2sim2humanoid/

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2Google DeepMind、ロボット向けAIを発表新製品・発表
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  5. 5SoftBank主導、Agile Robotsが5億ドル調達 NVIDIAと日立も参加資金調達

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI