日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
データ収集arXiv:2610.39385

UMI-Live:実環境で両腕ロボットのデータ収集を可能にするフルスタックシステム

UMI-Live for In-The-Wild Bimanual Robotics Data Collection

シェア:XThreadsFacebookLINEはてブBluesky

カメラとLiDAR慣性センシングを統合した自作ハードで外部トラッキング不要の両腕データ収集を実現し、SLAM再構成と学習可能データセット生成を並列実行するオープンソースシステムを提案。

詳しい要約

1. どんなもの?

- UMI-Live は in-the-wild での両手(bimanual)ロボティクスデータ収集のための full-stack オープンソース UMI システム - カスタム UMI-Live hardware に camera・LiDAR–inertial sensing・onboard compute・power を統合 - 外部 tracking 機器や収集環境内での calibration を不要にする設計 - データ記録用の簡易 UI と、並列に SLAM reconstruction を行い学習可能データセットを出力する非同期 pipeline を実装 - dual-YAM teleoperation と VLA policy の学習・推論を支える software も公開 - 3 タスクにわたる 40 時間の UMI-Live データ、hardware 設計、software、再現ガイドを公開

2. 先行研究と比べてどこがすごい?

- 従来の UMI は物理ロボットの teleoperation なしに熟練者のデモを収集できるが、学習データ化には一貫した hardware 構成・calibration・データ処理が必要だった - UMI-Live は外部 tracking 機器や収集環境内 calibration を不要にし、in-the-wild 収集の負担を軽減 - 記録と並行して SLAM reconstruction を非同期に行い、学習可能データセットを自動生成する点が従来との差分 - 両手(bimanual)対応の full-stack システムとして hardware・software・データをまとめて公開している点が特徴 - 具体的な先行研究名との定量比較は要旨からは不明

3. 技術・手法の肝は?

- camera と LiDAR–inertial sensing、onboard compute、power を統合したカスタム UMI-Live hardware を設計 - 外部 tracking 機器や環境内 calibration を前提としない構成 - データ記録中の操作を簡素化する user interface を実装 - 非同期 pipeline が並列に SLAM reconstruction を実行し、training-ready なデータセットを publish - dual-YAM teleoperation をサポートする software を提供 - VLA policy の学習と推論のための software も公開

4. どうやって有効だと検証した?

- UMI-Live のデータ品質を、$π_{0.5}$ と MolmoAct2 の fine-tuning によって検証 - 両手の pick-and-place タスクで、$π_{0.5}$ は 10/10、MolmoAct2 は 8/10 の success rate を達成 - 3 タスクにわたる 40 時間の UMI-Live データを公開 - hardware 設計、software、再現ガイドを project website で公開

5. 議論はある?

- 外部 tracking 機器や収集環境内 calibration を不要にした設計の実用性が議論の対象になり得る - 非同期 SLAM reconstruction によるデータセット生成の品質や遅延への影響は要旨からは不明 - 検証は両手 pick-and-place タスクでの success rate が中心で、他タスクへの一般化は要旨からは不明 - 40 時間・3 タスクのデータ公開による再現性や多様性の評価は要旨からは不明 - 具体的な限界や失敗事例の議論は要旨からは不明

6. 次に読むべき論文は?

- Universal Manipulation Interface (UMI) - $π_{0.5}$ - MolmoAct2 - dual-YAM teleoperation - VLA policy - SLAM reconstruction を用いたデータ収集・処理の関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Govind Velamoor, Adrian Lin, Sam Jung, Spencer Mateega, Brandon Y. Yang, Amish Sethi

分類: cs.RO, cs.AI

原文アブストラクト

Universal Manipulation Interface (UMI) devices allow human experts to demonstrate tasks for robot learning without teleoperating physical robots. Using these demonstrations as training data still requires a consistent hardware setup, calibration, and data processing. We present UMI-Live, a full-stack open-source bimanual UMI system for in-the-wild data collection. We design our custom UMI-Live hardware to integrate camera and LiDAR--inertial sensing, onboard compute, and power, without external tracking equipment or calibration within the collection environment. We implement a simple user interface for recording data while an asynchronous pipeline performs parallel SLAM reconstruction and publishes training-ready datasets. We also release software that supports dual-YAM teleoperation and VLA policy training and inference. We validate UMI-Live data quality by fine-tuning $π_{0.5}$ and MolmoAct2, achieving success rates of 10/10 and 8/10, respectively on a bimanual pick-and-place task. Furthermore, we release 40 hours of UMI-Live data across three tasks, and complete hardware designs, software, and reproduction guides at our $\href{https://umi-live.github.io/}{\text{project website}}$.

関連論文

PR本紙発行元 EmplifAI