日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
全身マニピュレーションarXiv:2611.03647

Pixel-UMI：センサ付き人間デモンストレーションから環境認識型全身マニピュレーションを学習する

Pixel-UMI: Learning Environment-Aware Whole-Body Manipulation from Sensorized Human Demonstrations

シェア:XThreadsFacebookLINEはてブBluesky

人間のセンサ付きデモから環境を考慮した全身マニピュレーションポリシーを学習するパイプラインを提案し、リターゲティング誤差を考慮したマスキングとDAggerによる修正で5タスク平均87%の進捗を達成した。

詳しい要約

1. どんなもの？

- Sensorized human demonstrations から mobile manipulation の whole-body policy を学習するパイプライン Pixel-UMI を提案 - 実世界の5タスク（articulated-object manipulation、deformable-object handling、constrained-space reaching、whole-body collision avoidance、contact-rich bimanual coordination）で評価 - 平均タスク進捗 87.0% を達成

2. 先行研究と比べてどこがすごい？

- 従来の sensorized human demonstrations は embodiment 差により policy learning が困難 - Pixel-UMI は Environment-Aware Retargeting (EAR) で scene geometry と head/gripper trajectories を統合し collision-aware な joint/base targets を生成 - Retargeting-Error-Aware Masking (REAM) により human と robot の viewpoint mismatch への依存を低減 - DAgger による on-policy human corrections で contact-rich 相互作用を補完

3. 技術・手法の肝は？

- Environment-Aware Retargeting (EAR): 再構成した scene geometry と実演された head/gripper trajectories を組み合わせ、robot posture を決定し collision-aware な joint/base targets を生成 - Delay-calibrated action assignment: trajectories を actions に変換 - Retargeting-Error-Aware Masking (REAM): 学習時に retargeting errors を利用し、展開時の mismatched views への依存を低減 - DAgger: on-policy human corrections を収集し、推定 actions では捉えきれない contact-rich interactions を改善

4. どうやって有効だと検証した？

- 5つの challenging tasks で評価 - articulated-object manipulation - deformable-object handling - constrained-space reaching - whole-body collision avoidance - contact-rich bimanual coordination - 平均タスク進捗 87.0% を達成 - 詳細な比較対象や ablation の有無は要旨からは不明

5. 議論はある？

- kinematic differences に起因する residual pose errors が human demonstrations と robot observations の viewpoint mismatch を生む点を議論 - estimated actions だけでは contact-rich interactions を十分に捉えられない点を指摘 - 各コンポーネントの寄与度や失敗事例の詳細は要旨からは不明

6. 次に読むべき論文は？

- Environment-Aware Retargeting (EAR) 関連の retargeting 研究 - Retargeting-Error-Aware Masking (REAM) に関連する viewpoint mismatch / masking 研究 - DAgger による on-policy human corrections の先行研究 - sensorized human demonstrations を用いた mobile manipulation の関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jason Jingzhou Liu, Tony Tao, Deepak Pathak, Ruslan Salakhutdinov

分類: cs.RO, cs.AI, cs.CV, cs.LG, eess.SY

原文アブストラクト

Sensorized human demonstrations offer scalable data for mobile manipulation, but embodiment differences complicate policy learning. We present Pixel-UMI, a pipeline for learning environment-aware whole-body policies from human data. We first introduce Environment-Aware Retargeting (EAR), which combines reconstructed scene geometry with demonstrated head and gripper trajectories to determine robot posture and generate collision-aware joint and base targets. Delay-calibrated action assignment converts these trajectories into actions. However, kinematic differences can leave residual pose errors, creating viewpoint mismatches between human demonstrations and robot observations. We therefore introduce Retargeting-Error-Aware Masking (REAM), which uses these errors during training to reduce reliance on mismatched views at deployment. Finally, because estimated actions cannot fully capture contact-rich interactions, we collect on-policy human corrections through DAgger to improve performance. We evaluate Pixel-UMI on five challenging tasks spanning articulated-object manipulation, deformable-object handling, constrained-space reaching, whole-body collision avoidance, and contact-rich bimanual coordination, achieving 87.0% average task progress. Video results are available at https://pixel-robot.com/pixel-umi

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI