日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
模倣学習arXiv:2610.18822

EgoMatrix: 一人称視点の人間動画から物理的に忠実な器用ロボット実演を生成

EgoMatrix: Physically Faithful Dexterous Robot Demonstrations from Egocentric Human Videos

シェア:XThreadsFacebookLINEはてブBluesky

一人称視点の人間動画から両手の器用な操作軌道とロボット観測動画を生成し、実機で再生可能にするデータエンジン。

詳しい要約

1. どんなもの？

- 一人称視点の人間動画から、両手の器用な操作軌跡とロボット観測動画を生成する end-to-end データエンジン EgoMatrix を提案。 - 単眼 RGB から hand-object interaction (HOI) を再構成し、retargeting と reinforcement learning (RL) でシミュレーション上でタスクを再現。 - シミュレーション軌跡からロボットハンドと物体を jointly render し、state と control 記録に同期した物理的に忠実な観測を生成。 - 同一軌跡を多様な背景で描画し、ロボット-物体の運動と接触を保ったまま paired training data を拡張。

2. 先行研究と比べてどこがすごい？

- 従来の robot teleoperation に代わるスケーラブルなデータ収集源として一人称人間動画を活用。 - 単眼 RGB からの正確な HOI 再構成と高品質なロボット実演（特に視覚観測）の2課題に対処。 - TACO, OakInk2, 自己収集データで simulation の end-to-end 成功率 54.84% を達成し、最強 baseline の 14.52% を大幅に上回る。 - 再構成は2つの公開ベンチマークのほとんどの指標で state-of-the-art。 - 定性結果で先行手法より忠実な hand-object interaction を示し、feature-space 解析で GPT-6 Astra より実ロボット観測に近い整合を示す。

3. 技術・手法の肝は？

- 正確な metric scene recovery ではなく、相対幾何と接触に重点を置いて HOI を再構成。 - retargeting と reinforcement learning (RL) を用いて、実演タスクをシミュレーション上で再現。 - シミュレーション軌跡からロボットハンドと物体を jointly render し、state と control 記録に同期した物理的に忠実な観測を生成。 - 同一軌跡を多様でタスク互換な背景で描画し、ロボット-物体の運動と接触を保ちつつ paired training data を拡張。

4. どうやって有効だと検証した？

- TACO, OakInk2, 自己収集データで評価。 - simulation の end-to-end 成功率 54.84% 対 最強 baseline 14.52%。 - 再構成は2つの公開ベンチマークのほとんどの指標で state-of-the-art を達成。 - 定性結果で先行手法より忠実な hand-object interaction を示す。 - feature-space 解析で GPT-6 Astra より実ロボット観測に近い整合を示す。

5. 議論はある？

- 要旨からは不明。

6. 次に読むべき論文は？

- TACO - OakInk2 - GPT-6 Astra

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ziheng Wang, Yanming Shao, Ting Mao, Kaihan Chen, Yiqun Wang, Xuanye Wu, Yao Mu

分類: cs.RO

原文アブストラクト

Egocentric human videos offer a scalable alternative to robot teleoperation for collecting dexterous manipulation data. However, two challenges limit their use as reliable training data: accurate hand-object interaction (HOI) reconstruction from monocular RGB and high-quality robot demonstrations, especially visual observations. We present EgoMatrix, an end-to-end data engine that converts monocular egocentric human videos into bimanual dexterous trajectories and paired robot observation videos, with the trajectories directly replayable on real robots. It reconstructs HOI with emphasis on relative geometry and contact rather than exact metric scene recovery, then uses retargeting and reinforcement learning (RL) to reproduce the demonstrated tasks in simulation. We jointly render robot hands and objects from these simulated trajectories to produce physically faithful observations synchronized with state and control records. Rendering the same trajectories in diverse, task-compatible backgrounds expands paired training data while preserving robot-object motion and contact. Across TACO, OakInk2, and self-collected data, EgoMatrix achieves 54.84% end-to-end success in simulation versus 14.52% for the strongest baseline. Reconstruction reaches state-of-the-art performance on most metrics of the two public benchmarks. Qualitative results show more faithful hand-object interactions than prior methods, while feature-space analysis shows closer alignment with real-robot observations than GPT-6 Astra.Our project page is available at https://spikew726.github.io/EgoMatrix/.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI