日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

テレオペレーションarXiv:2611.21143

WinDEX: 実環境でのメートルスケール3D手動作復元による巧みなテレオペレーションと方策学習

WinDEX: Metric 3D Hand Motion Reconstruction in the Wild for Dexterous Teleoperation and Policy Learning

シェア:XThreadsFacebookLINEはてブBluesky

一人称ステレオ動画からメートルスケールの3D手動作を復元するシステムを構築し、リアルタイム推論とテレオペレーション、強化学習方策の学習精度向上を実現した。

詳しい要約

1. どんなもの?

- WinDEX は in-the-wild の egocentric stereo 動画から metric 3D 手動作を再構成するシステム - 構成要素は4つ - in-the-wild egocentric stereo 動画からの metric 3D hand annotation を行う geometric-temporal optimization と、world-frame 再構成のための visual-inertial SLAM - WinDEX-Net: calibrated stereo・局所詳細・時間的文脈を統合した fisheye-native な end-to-end ネットワーク。model-assisted annotation と retraining の data-model flywheel を備える - offline reconstruction と causal streaming 向けの distilled models。強化学習と teleoperation を支援 - 低コストな CyberCap st…

2. 先行研究と比べてどこがすごい?

- 既存手法は geometrically grounded な metric-scale reconstruction、実世界汎化、推論速度の面で限界があった - WinDEX は in-the-wild データでの metric-scale 再構成と高速推論を両立 - held-out データで offline reconstruction が state-of-the-art 精度 - in-the-wild reprojection error 14.5 pixels - visual-inertial odometry 併用で world-frame joint error 37.29 mm - 強化学習 policy の比較で優位 - WiLoR の motion reference で学習した policy の 7.6 倍 - HaWoR の motion reference で学習した policy の 3.6 倍の task success rate - 低コストな CyberCap による大規模収集と、offline/causal str…

3. 技術・手法の肝は?

- geometric-temporal optimization により in-the-wild egocentric stereo 動画から metric 3D hand annotation を生成 - visual-inertial SLAM と組み合わせ world-frame 再構成を実現 - WinDEX-Net は end-to-end かつ fisheye-native - calibrated stereo、local detail、temporal context を統合 - model-assisted annotation と retraining の data-model flywheel を循環させる - distilled models を用意 - offline reconstruction 用と causal streaming 用に分け、強化学習と teleoperation を支援 - CyberCap は stereo-inertial な低コスト capture 装置で、WinDEX-Hand dataset の収集基盤

4. どうやって有効だと検証した?

- WinDEX-Hand dataset を構築 - 1,000 時間の training annotations - held-out の human-annotated in-the-wild 2D 評価セット - 独立した optical motion-capture 評価セット - held-out データで offline reconstruction の精度を評価 - in-the-wild reprojection error 14.5 pixels - visual-inertial odometry 併用で world-frame joint error 37.29 mm - 速度評価 - offline reconstruction 43.61 FPS - causal streaming 171 FPS - 強化学習 policy の task success rate を WiLoR・HaWoR の motion reference と比較 - リアルタイムの arm-hand teleoperation を実演

5. 議論はある?

- 要旨からは不明 - 失敗事例、限界、倫理面、計算コストの詳細な議論は記述されていない - 評価の一部は自ら構築した WinDEX-Hand dataset に依存しており、外部データでの汎化の議論は要旨からは不明 - 比較対象は WiLoR と HaWoR の motion reference を用いた強化学習 policy に限られ、他の teleoperation 手法との比較は要旨からは不明

6. 次に読むべき論文は?

- WiLoR(比較対象の hand motion reference 手法) - HaWoR(比較対象の hand motion reference 手法) - visual-inertial SLAM 関連の研究 - optical motion-capture を用いた hand pose 評価研究 - dexterous teleoperation および reinforcement learning による policy learning の関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hongyu Ma, Hairong Qu, Shiqi Zhao, Yongsong Yang, Kai Shi, Jiahao Ai, Xin You, Peng Yin

分類: cs.RO

原文アブストラクト

Human manipulation data are widely used to train robots for human-like dexterity. However, low-cost, large-scale collection in the wild remains challenging. Existing methods remain limited in geometrically grounded metric-scale reconstruction, real-world generalization and inference speed. We present WinDEX, integrating (1) geometric-temporal optimization for metric 3D hand annotation from in-the-wild egocentric stereo videos, combined with visual-inertial SLAM for world-frame reconstruction; (2) WinDEX-Net, an end-to-end, fisheye-native network combining calibrated stereo, local detail and temporal context, with a data-model flywheel of model-assisted annotation and retraining; (3) distilled models for offline reconstruction and causal streaming, supporting reinforcement learning and teleoperation; and (4) low-cost CyberCap stereo-inertial capture, forming the WinDEX-Hand dataset with 1,000 hours of training annotations and held-out human-annotated in-the-wild 2D and independent optical motion-capture evaluation sets. Offline reconstruction runs at 43.61 FPS and causal streaming at 171 FPS. On held-out data, offline reconstruction achieves state-of-the-art accuracy: 14.5 pixels in-the-wild reprojection error and, with visual-inertial odometry, 37.29 mm world-frame joint error. We achieve 7.6 and 3.6 times the task success rates of reinforcement learning policies trained with WiLoR and HaWoR motion references, respectively, and demonstrate real-time arm-hand teleoperation. Project website: https://fruitrabbit.github.io/WinDEX/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2Google DeepMind、ロボット向けAIを発表新製品・発表
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  5. 5SoftBank主導、Agile Robotsが5億ドル調達 NVIDIAと日立も参加資金調達

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI