日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

データ収集arXiv:2611.16439

全身移動マニピュレーションのための人間整合型データ収集システムHALO

HALO: Human-Aligned Data Collection for WhoLe-body MObile Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

操作者の知覚と動作をロボットに整合させ、低抵抗プラットフォームとキネステティック教示で全身移動マニピュレーションの実演を自然かつ高速に収集するシステムを提案。

詳しい要約

1. どんなもの?

- 全身体 mobile manipulation のための人間整合型データ収集システム HALO の提案 - operator の知覚・行動空間を robot と整合させ、直接の物理 feedback と自然な locomotion を両立 - kinesthetic teaching で end-effector を誘導しつつ、deployed mobile base を使わず低抵抗 platform を動かす - 両手 manipulation と移動を同時に含む whole-body demonstration を収集可能にする

2. 先行研究と比べてどこがすごい?

- 既存 interface は direct robot control・perception-action alignment・operator mobility のトレードオフがあった - Mobile ALOHA および VR teleoperation と比較し、最大 2.9x 高速な demonstration 収集を実現 - 成功率は同等以上を維持 - 収集したデータで学習した policy が zip-tie fastening などの精密 manipulation を遂行 - 6 段階 long-horizon mobile manipulation task で 73.3% の成功率を達成

3. 技術・手法の肝は?

- operator の知覚・行動空間を robot に整合させる human-aligned interface - kinesthetic teaching による end-effector 誘導と、低抵抗 platform の移動を組み合わせる - deployed mobile base を使わずに両手 manipulation と移動を同時収集 - 密結合に起因する demonstration と deployment の差異を deployment-aligned demonstration processing で補正 - platform motion を deployed base response に calibrate し時間的に align - 記録 observation 内の demonstrator hands を mask し inpaint

4. どうやって有効だと検証した?

- Mobile ALOHA および VR teleoperation との比較で収集速度と成功率を評価 - 最大 2.9x 高速な収集と同等以上の成功率を報告 - HALO で学習した policy を精密 manipulation タスク(zip-tie fastening を含む)で評価 - 反復的な base と arm の協調動作を含む 6 段階 long-horizon mobile manipulation task で 73.3% の成功率を確認

5. 議論はある?

- human-robot の密結合により demonstration と deployment 設定の間に差異が生じる点を課題として明示 - その差異を deployment-aligned demonstration processing で緩和する方針を提示 - 具体的な限界や失敗事例、処理の一般性については要旨からは不明 - 収集速度・成功率の比較条件の詳細は要旨からは不明

6. 次に読むべき論文は?

- Mobile ALOHA(比較対象の data collection interface) - VR teleoperation(比較対象の teleoperation 手法) - kinesthetic teaching を用いた manipulation データ収集の関連研究 - whole-body mobile manipulation の long-horizon policy learning に関する研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Shuai Yang, Fangyi Xu, Yishu Shen, Kecheng Zheng, Yinghao Xu

分類: cs.RO

原文アブストラクト

Learning whole-body mobile manipulation requires demonstrations that coordinate bimanual actions with locomotion across extended workspaces. However, existing interfaces trade off direct robot control, perception and action alignment, and natural operator mobility, making such demonstrations difficult to collect. We introduce HALO, a human-aligned data collection system for whole-body mobile manipulation. The system aligns the operator's perception and action space with the robot while preserving direct physical feedback and natural locomotion. Operators guide the robot end-effectors through kinesthetic teaching and move a low-resistance platform without the deployed mobile base while performing bimanual manipulation. This interface enables more natural whole-body demonstrations, but the close human-robot coupling introduces discrepancies between the demonstration and deployment settings. We address these discrepancies with deployment-aligned demonstration processing, which calibrates and temporally aligns platform motion with the deployed base response and masks and inpaints demonstrator hands in recorded observations. Compared with Mobile ALOHA and VR teleoperation, HALO enables up to 2.9x faster demonstration collection while maintaining comparable or higher success rates. Policies trained with HALO perform precise manipulation tasks, including zip-tie fastening, and achieve a 73.3% success rate on a six-stage long-horizon mobile manipulation task involving repeated coordinated base and arm motion. Project page: https://robbyant-research.github.io/Lingbot-ALOHA/

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2Hugging Face、ロボット学習基盤「LeRobot v0.7.0」を公開 対話操作と大規模データ学習に対応新製品・発表
  3. 3UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
PR本紙発行元 EmplifAI