日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
マニピュレーションarXiv:2609.11753

SEED-UMI: 人間とロボットで外骨格を共有する一対一の器用なデモンストレーション

SEED-UMI: Sharing the Exoskeleton between human and robot for onE-to-one Dexterous demonstration

シェア:XThreadsFacebookLINEはてブBluesky

人間とロボットが同じ外骨格を装着し、関節エンコーダと手首カメラの計測を共有することで、接触の多いタスクの模倣学習を効率化するフレームワークを提案。

詳しい要約

1. どんなもの?

- 器用なハンドの模倣学習のためのフレームワーク SEED-UMI を提案。 - 人間とロボットが同じ exoskeleton を装着する点が特徴。 - joint encoders を物理的に共有された計測として利用。 - exoskeleton に取り付けた wrist cameras が、人間のデータ収集時とロボットの policy rollout 時の両方で同じ outer mechanism を観察。 - これにより retargeting を paired cross-embodiment supervision に変換。 - セグメンテーションや inpainting なしで、生の exoskeleton 中心の wrist 画像上で policy を直接学習可能。

2. 先行研究と比べてどこがすごい?

- 従来の wearable-exoskeleton システムは人間側のみを記録し、自由空間で校正された open-loop mapping で retargeting していた。 - そのため接触時に性能が劣化する問題があった。 - SEED-UMI は人間とロボットが同じ exoskeleton を装着することで、retargeting を paired cross-embodiment supervision に変える。 - 接触が豊富なタスクでも faithful に転移できる可能性を示す。 - データ収集効率が exoskeleton-based teleoperation より 3.0 倍高い。

3. 技術・手法の肝は?

- 人間とロボットが同一の exoskeleton を装着する設計。 - joint encoders が物理的に共有された計測となる。 - exoskeleton に wrist cameras を搭載し、人間のデータ収集時とロボットの policy rollout 時に同じ outer mechanism を観察。 - これにより retargeting が paired cross-embodiment supervision として機能。 - policy は生の exoskeleton 中心の wrist 画像で直接学習され、segmentation や inpainting を必要としない。

4. どうやって有効だと検証した?

- 5 つの contact-rich tasks で評価。 - exoskeleton-based teleoperation と比較してデータ収集効率が 3.0 倍。 - 平均 rollout 成功率 70.0% を達成。 - これにより有効性を検証。

5. 議論はある?

- 要旨からは不明。 - 限界や失敗事例、一般的なタスクへの適用可能性については記述がない。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: exoskeleton-based teleoperation、wearable-exoskeleton systems、open-loop mappings。 - 関連手法: imitation learning for dexterous hands、retargeting、cross-embodiment supervision。 - 同分野の定番: 不明(要旨に具体的な論文名の記載なし)。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Tengbo Yu, Jiahao Wu, Daohan Li, Bingxu Chen, Hao Liu, Xiaojian Ma, Hangxin Liu

分類: cs.RO

原文アブストラクト

Imitation learning for dexterous hands is bottlenecked by the difficulty of collecting contact-rich demonstrations that transfer faithfully to the robot. Prior wearable-exoskeleton systems record only on the human side and retarget via open-loop mappings calibrated in free space, which degrade under contact. We present SEED-UMI, a framework in which both the human and the robot wear the same exoskeleton: joint encoders become a physically shared measurement, and wrist cameras mounted to the exoskeleton observe the same outer mechanism during both human data collection and robot policy rollouts. This turns retargeting into paired cross-embodiment supervision and lets policies train directly on raw exoskeleton-centric wrist images, without segmentation or inpainting. On five contact-rich tasks, SEED-UMI achieves 3.0x greater data collection efficiency than exoskeleton-based teleoperation and a 70.0% average rollout success rate.

関連論文