自己中心視点学習2026/10/5arXiv:2610.07217

RoboCap：自己中心視点ロボット学習のための新プラットフォーム

RoboCap: A New Platform for Egocentric Robot Learning

6カメラと2つのIMUを搭載した250gの帽子型デバイスと、それに最適化した3Dアルゴリズム群を開発し、自己中心視点の操作データ収集を可能にした。

詳しい要約

1. どんなもの？

- RoboCapは、250gの6カメラとデュアルIMUを搭載した帽子型デバイスで、野生環境でのエゴセントリックな操作データ収集を可能にする。 - 同時に、デバイス非依存の3Dアルゴリズムスイート「Grounded API」を提供し、RoboCapに最適化されている。 - ハードウェア、キャリブレーション、3Dアルゴリズムの相互作用により、SLAM、深度推定、ハンドトラッキングの公開ベンチマークで最先端性能を達成。

2. 先行研究と比べてどこがすごい？

- 従来のエゴセントリック操作データ収集は、人間工学的ハードウェアとセンチメートル精度の3Dアルゴリズムの垂直統合が必要で、その精度は公に実証されていなかった。 - RoboCapはこのギャップを埋め、大規模データ収集を可能にする統合プラットフォームを提供。 - 公開ベンチマークで最先端性能を達成し、従来手法を上回る。

3. 技術・手法の肝は？

- 250gの軽量帽子型デバイスに6カメラとデュアルIMUを搭載し、野生環境でのエゴセントリックデータを収集。 - Grounded APIはデバイス非依存の3Dアルゴリズム群で、RoboCap用に調整されている。 - ハードウェア、キャリブレーション、3Dアルゴリズムの相互作用を活用し、SLAM、深度推定、ハンドトラッキングを実現。

4. どうやって有効だと検証した？

- 公開ベンチマークで評価：多様な設定とリグでのSLAM、エゴセントリック設定での深度推定、サードパーティデバイスに適応した際のハンドトラッキング。 - これらのベンチマークで最先端性能を達成したことを報告。

5. 議論はある？

- 要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究は明示されていない。関連手法として、SLAM、深度推定、ハンドトラッキングの分野の定番（例：ORB-SLAM、MiDaS、MediaPipe Handsなど）が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Grounded Superintelligence, BitRobot

分類: cs.RO, cs.AI, cs.CV, cs.HC

原文アブストラクト

Despite its promise for scaling robot learning, egocentric manipulation data is still scarce today. Collection at scale requires vertically integrating ergonomic hardware with centimeter-precise 3D algorithms, at a precision that has not been publicly demonstrated. To address this gap, we introduce RoboCap, a 250\,g six-camera dual-IMU hat designed for in-the-wild egocentric data capture, and the Grounded API, a suite of device-agnostic 3D algorithms tuned for RoboCap. In this report, we demonstrate how hardware, calibration, and 3D algorithms interact to achieve state-of-the-art performance on the public benchmarks: our SLAM across diverse settings and rigs, our depth estimation on egocentric settings, and our hand tracking when adapted to third-party devices.

arXivで原文を読む →arXiv概要ページ

← 論文一覧