日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

sim2realarXiv:2611.24138

Ego2X: 一人称視点の人間データを接触認識で任意のロボットへ転送するフレームワーク

Ego2X: Contact-aware Transfer from Egocentric Human Data to Any Robot

シェア:XThreadsFacebookLINEはてブBluesky

一人称視点の動画から物体との接触情報を抽出し、それを用いて器用なハンドやパラレルグリッパ向けの物理的に実行可能なロボットデータへ変換する手法を提案した。

詳しい要約

1. どんなもの?

- 一人称視点(egocentric)の単眼動画から、dexterous hands と parallel grippers の両方に対応した物理的に実行可能なロボットデータへ変換する object-centric フレームワーク Ego2X を提案する研究。 - 中核は CORE(Contact-centric Object-interaction REpresentation)で、物体表面上の anchor ごとに接触・相対力・grasp mode・interaction state を記録する表現。 - 変換パイプラインと CORE 注釈付きデータセットを公開予定としている。

2. 先行研究と比べてどこがすごい?

- 従来の ego-to-robot パイプラインは hand/arm motion の retargeting を行い、主に視覚的外観で忠実度を評価していた。 - それに対し本手法は「物体がどう動くか」「動きを駆動する接触」を重視する点が異なる。 - 従来は指が物体の横で浮く、gripper が空振りするなど物理的に破綻する軌道が生じていたが、Ego2X は接触を基準にこれを是正する。 - EgoDex で annotated contacts の 62.9% を実現し、公式 HuRo パイプライン(27.9%)を上回った。

3. 技術・手法の肝は?

- CORE が物体表面上の anchor ごとに接触・相対力・grasp mode・interaction state を記録する。 - パイプライン全体で CORE を利用し、object-relative constraints により hand-object drift を補正する。 - inverse kinematics をロボットが実現すべき接触へ誘導する。 - arm erasure と robot compositing の際に把持物体を保持する。 - dexterous hands と parallel grippers の双方に対応する。

4. どうやって有効だと検証した?

- HOT3D において、contact-driven correction が in-contact hand depth error を 33.7% 削減した。 - EgoDex において、contact-driven retargeting が annotated contacts の 62.9% を実現し、公式 HuRo パイプラインの 27.9% を上回った。 - RoboTwin 2.0 において、simulator demonstrations なしで Ego2X episodes のみにより X-VLA を post-training し、200 paired scenes で task success rate が zero-shot の 40.5% から 67.0% へ向上した。

5. 議論はある?

- 要旨からは不明(限界や失敗ケース、計算コスト、一般化性に関する議論は要旨に記載がない)。 - 公開予定として conversion pipeline と CORE-annotated dataset(dexterous hands と parallel grippers 向け)が挙げられている。

6. 次に読むべき論文は?

- HuRo pipeline(EgoDex における比較対象の公式 ego-to-robot パイプライン) - X-VLA(Ego2X episodes で post-training された embodied model) - HOT3D(contact-driven correction を評価したデータセット) - EgoDex(contact-driven retargeting を評価したデータセット) - RoboTwin 2.0(task success rate を評価したシミュレータベンチマーク)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xinke Lyu, Bowen Yang, Zhicheng Wang

分類: cs.RO, cs.CV

原文アブストラクト

Embodied models depend on real interaction data, yet collecting it on physical robots is slow and labor-intensive. Recent ego-to-robot pipelines retarget first-person view human videos to robot data via transferring hand and arm motion. They judge fidelity mainly by visual appearance. However, trajectories often fail in terms of physics: fingers hover beside objects, and grippers close on empty space. We argue that how the object moves and the contacts that drive the motion count. Thus, we present Ego2X, an object-centric framework that converts monocular egocentric video into physically executable robot data across dexterous hands and parallel grippers. Ego2X centers on CORE (Contact-centric Object-interaction REpresentation), which records each contact on the object by its surface anchor, as well as relative force, grasp mode, and interaction state. Throughout the pipeline, CORE corrects hand-object drift via object-relative constraints, steers inverse kinematics toward contacts the robot must realize, and preserves held objects during arm erasure and robot compositing. On HOT3D, contact-driven correction reduces in-contact hand depth error by 33.7%, while on EgoDex, contact-driven retargeting realizes 62.9% of annotated contacts, surpassing the official HuRo pipeline (27.9%). In RoboTwin 2.0, post-training X-VLA on Ego2X episodes alone, without simulator demonstrations, raises task success rate from 40.5% zero-shot to 67.0% across 200 paired scenes. We will publicly release our conversion pipeline and CORE-annotated dataset for dexterous hands and parallel grippers.

関連論文

  1. 1パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3日経クロステック、NVIDIA取締役会のファンCEO解任議論を報道 同社は同日、辞任を発表業界動向
  4. 4NVIDIA、ヒトの動きをロボットに適応する「SOMA Retargeter」を紹介研究・技術
  5. 5ティアフォーとTUM、Autowareでミュンヘン大型路線バスの自動運転開発を支援提携・買収

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI