WinDEX: 実環境でのメートルスケール3D手動作復元による巧みなテレオペレーションと方策学習
WinDEX: Metric 3D Hand Motion Reconstruction in the Wild for Dexterous Teleoperation and Policy Learning
一人称ステレオ動画からメートルスケールの3D手動作を復元するシステムを構築し、リアルタイム推論とテレオペレーション、強化学習方策の学習精度向上を実現した。
詳しい要約
1. どんなもの?
2. 先行研究と比べてどこがすごい?
3. 技術・手法の肝は?
4. どうやって有効だと検証した?
5. 議論はある?
6. 次に読むべき論文は?
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Hongyu Ma, Hairong Qu, Shiqi Zhao, Yongsong Yang, Kai Shi, Jiahao Ai, Xin You, Peng Yin
分類: cs.RO
原文アブストラクト
Human manipulation data are widely used to train robots for human-like dexterity. However, low-cost, large-scale collection in the wild remains challenging. Existing methods remain limited in geometrically grounded metric-scale reconstruction, real-world generalization and inference speed. We present WinDEX, integrating (1) geometric-temporal optimization for metric 3D hand annotation from in-the-wild egocentric stereo videos, combined with visual-inertial SLAM for world-frame reconstruction; (2) WinDEX-Net, an end-to-end, fisheye-native network combining calibrated stereo, local detail and temporal context, with a data-model flywheel of model-assisted annotation and retraining; (3) distilled models for offline reconstruction and causal streaming, supporting reinforcement learning and teleoperation; and (4) low-cost CyberCap stereo-inertial capture, forming the WinDEX-Hand dataset with 1,000 hours of training annotations and held-out human-annotated in-the-wild 2D and independent optical motion-capture evaluation sets. Offline reconstruction runs at 43.61 FPS and causal streaming at 171 FPS. On held-out data, offline reconstruction achieves state-of-the-art accuracy: 14.5 pixels in-the-wild reprojection error and, with visual-inertial odometry, 37.29 mm world-frame joint error. We achieve 7.6 and 3.6 times the task success rates of reinforcement learning policies trained with WiLoR and HaWoR motion references, respectively, and demonstrate real-time arm-hand teleoperation. Project website: https://fruitrabbit.github.io/WinDEX/.
関連論文
- 建設ロボティクスのための人間参加型制御パラダイム:VR誘導テレオペレーションから半自律デュアルアーム操作までテレオペレーション
- MABEL: テレオペレーションと学習のためのオープンな人間型移動双腕プラットフォームテレオペレーション
- DITTO-X: 巧みな操作と人間介入のための順方向・逆方向テレオペレーションテレオペレーション
- NEXUS: 地形適応型テレオペレーションのための知覚的全身体制御テレオペレーション
- MATE: ヒューマノイド協調データ収集のためのマルチエージェント仮想テレオペレーションプラットフォームテレオペレーション
- Astrobee用テレオペ自由飛行マニピュレーションのための展開可能な4指ペイロードテレオペレーション
