日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

データ収集arXiv:2611.22146

HandUMI: ロボット不要の両手データ収集を可能にする装着型パラレルジョーインターフェース

HandUMI: A Modular Hand-Worn Parallel-Jaw Interface for Robot-Free Bimanual Data Capture

シェア:XThreadsFacebookLINEはてブBluesky

ロボットなしで両手の操作デモを収集できる、指先交換式の装着型パラレルジョー型デバイスを開発し、実機ロボットへの再現でタオル折り畳みタスクの学習成功を実証した。

詳しい要約

1. どんなもの?

- ロボット無しで両手のデモンストレーションを収集する、手に装着するモジュール式の parallel-jaw interface「HandUMI」 - 装着者の手に取り付け、ロボットの gripper に合わせて交換可能な fingertip を備える - Quest/PICO controllers で手を tracking し、encoder で aperture(開き幅)を計測 - 収集データは robot-agnostic な記録として保存され、inverse kinematics により複数の simulated bimanual arms へ retarget 可能 - hardware と software は open source (Apache-2.0) で公開 - Quest 3S 込みの 1 対のコストは USD 557(optional な ZED Mini と host computer を除く)

2. 先行研究と比べてどこがすごい?

- 従来の robot-free demonstration 収集は片手操作や単一ロボット前提が主流だが、HandUMI は両手同時の bimanual デモをロボット無しで収集できる - 交換可能な fingertip により、対象ロボットの gripper 形状に合わせたデータ取得が可能 - robot-agnostic な記録を inverse kinematics で 7 種類の simulated bimanual arms に retarget でき、汎用性が高い - median position error は 1.2 mm 以下、episode の棄却率は 4.7% 以下 - 実機 PiPER arms での bimanual towel folding において、robot-free デモで学習した policy が成功 - ACT は 12/20、fine-tuned $π_{0.5}$ は 7/20 で成功 - 比較として、最初の 101 デモのみで学習した ACT と base $π_{0.5}$ はいずれも 0/20 - 詳細な先行研究との定量的…

3. 技術・手法の肝は?

- 手装着型の parallel-jaw interface で、装着者の指の動きと gripper の開き幅を同時に取得 - 交換可能な fingertip がロボットの gripper と対応 - Quest/PICO controllers による hand tracking と encoder による aperture 計測 - 収集データは特定ロボットに依存しない形式で記録し、inverse kinematics で対象ロボットの bimanual arm に retarget - 実機実験では、収集した robot-free demonstrations を用いて ACT や $π_{0.5}$ などの policy を学習 - fine-tuned $π_{0.5}$ では事前学習済みモデルの fine-tuning を実施

4. どうやって有効だと検証した?

- 7 種類の simulated bimanual arms への retarget 精度を評価 - median position error が 1.2 mm 以下 - 棄却された episode が 4.7% 以下 - 実機の PiPER arms を用いた bimanual towel folding タスクで policy を学習・評価 - 562 の robot-free demonstrations で学習した ACT が 12/20 成功 - fine-tuned $π_{0.5}$ が 7/20 成功 - 最初の 101 デモのみの ACT と base $π_{0.5}$ はそれぞれ 0/20 成功 - これらの比較により、デモ数と fine-tuning の効果、および robot-free データ収集の有効性を示唆

5. 議論はある?

- 実機成功 rate は ACT で 12/20、fine-tuned $π_{0.5}$ で 7/20 であり、依然として失敗例が存在 - 最初の 101 デモのみの ACT や base $π_{0.5}$ が 0/20 であったことから、デモ数や fine-tuning の重要性が示唆されるが、詳細な要因分析は要旨からは不明 - 7 種類の simulated arms への retarget は検証されているが、実機ロボットへの汎化や他のタスクへの適用可能性については要旨からは不明 - コスト面では Quest 3S 込みで USD 557 と比較的低コストだが、optional な ZED Mini や host computer は別途必要 - 倫理面や安全性、長期的な運用上の課題については要旨からは不明

6. 次に読むべき論文は?

- ACT(Action Chunking with Transformers) - $π_{0.5}$(fine-tuned 元の base model を含む) - UMI(Universal Manipulation Interface)系の robot-free demonstration 収集手法 - Quest/PICO controllers を用いた hand tracking 関連研究 - bimanual manipulation の imitation learning 研究 - inverse kinematics による retargeting 関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Brik Meza, Leonardo Perez, Alvaro Mendoza-Li, Aniela Ubillus, Mitshell Ramos, Raul Bastidas, Mauricio Olivera, Bryan Bastidas

分類: cs.RO

原文アブストラクト

HandUMI captures robot-free bimanual demonstrations with a hand-worn parallel-jaw interface. Swappable fingertips match the robot's installed gripper; Quest/PICO controllers track hands and encoders measure aperture. Robot-agnostic recordings are retargeted by inverse kinematics to seven simulated bimanual arms (median position error $\leq 1.2$ mm; $\leq 4.7$% of episodes rejected). On bimanual towel folding, 562 robot-free demonstrations train policies on real PiPER arms: ACT succeeds in 12/20 attempts and fine-tuned $π_{0.5}$ in 7/20; ACT on the first 101 and base $π_{0.5}$ each succeed in 0/20. Hardware and software are open source (Apache-2.0), and a pair costs USD 557 with Quest 3S, excluding the optional ZED Mini and host computer. Project website: https://murobotics.ai/research/handumi.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  4. 4SoftBank主導、Agile Robotsが5億ドル調達 NVIDIAと日立も参加資金調達
  5. 5パナソニックHD、「現場起点のPhysical AI」の研究開発加速を発表研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI