日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
モバイルマニピュレーションarXiv:2611.03648

Pixel: 汎用モバイルマニピュレーション学習のための協調設計フルスタックロボットシステム

Pixel: A Co-Designed Full-Stack Robot System for Learning General-Purpose Mobile Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

低コスト車輪型ヒューマノイド、遠隔操作と人間データ収集、全身制御、方策学習を一体設計し、言語条件付き視覚運動制御と長期タスク実行を実現したフルスタックシステムを提案。

詳しい要約

1. どんなもの?

- Pixelは、汎用モバイルマニピュレーションの学習に向けたco-designed full-stack robot system。 - 低コストのwheeled humanoid、human-aligned kinematics、compliant grippersを組み合わせる。 - 複数のteleoperationおよびrobot-free human data-collection interfacesを備える。 - unified whole-body controllerと、human/robot demonstrations共通のpolicy learning pipelineを持つ。 - hierarchical learning stackによりlanguage-conditioned visuomotor controlとlong-horizon task executionを可能にする。

2. 先行研究と比べてどこがすごい?

- 従来はrobot hardware、data collection、whole-body control、policy learningが個別に開発され、不整合がシステム能力を制限していた。 - Pixelはこれらをco-designし、full-stackとして統合する点が特徴。 - human demonstrationsとrobot demonstrationsを共通のpolicy learning pipelineで扱う。 - 要旨からは不明:具体的な先行研究との定量的比較。

3. 技術・手法の肝は?

- 低コストwheeled humanoidとhuman-aligned kinematics、compliant grippersを採用。 - teleoperationに加えrobot-free human data-collection interfacesを複数用意。 - unified whole-body controllerで全身制御を統合。 - human/robot demonstrationsを共通pipelineで学習。 - hierarchical learning stackでlanguage-conditioned visuomotor controlとlong-horizon task executionを実現。

4. どうやって有効だと検証した?

- hardware、data collection、policy learningの各側面でシステムを評価。 - dexterity、active perception、navigation、whole-body coordinationを要するmobile-manipulation behaviorsを実演。 - 要旨からは不明:評価指標、タスク数、被験者数、ベースライン比較の詳細。

5. 議論はある?

- robot hardware、data、control、learningを共設計するための統合的・拡張可能な基盤を目指す。 - 要旨からは不明:具体的な限界、失敗事例、コストやスケーラビリティに関する議論。

6. 次に読むべき論文は?

- 要旨で参照/比較されている個別研究は明示されていない。 - 関連手法としてteleoperation、robot-free human data collection、whole-body control、language-conditioned visuomotor control、hierarchical policy learning、mobile manipulationの定番研究を挙げる。 - 詳細はhttps://pixel-robot.com/pixelを参照。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Tony Tao, Jason Jingzhou Liu, Ruslan Salakhutdinov, Deepak Pathak

分類: cs.RO, cs.AI, cs.CV, cs.LG, eess.SY

原文アブストラクト

General-purpose mobile manipulation requires a combination of capable robot hardware, scalable demonstration collection, expressive whole-body control, and effective policy learning. Yet these components are often developed independently, creating mismatches that limit the capabilities of the complete system. We present Pixel, a co-designed full-stack system for learning general-purpose mobile manipulation. Pixel combines a low-cost wheeled humanoid with human-aligned kinematics and compliant grippers, multiple teleoperation and robot-free human data-collection interfaces, a unified whole-body controller, and a common policy learning pipeline across human and robot demonstrations. A hierarchical learning stack further enables language-conditioned visuomotor control and long-horizon task execution. We evaluate the system across hardware, data collection, and policy learning, and demonstrate mobile-manipulation behaviors requiring dexterity, active perception, navigation, and whole-body coordination. We hope that Pixel provides an integrated and extensible foundation for studying how robot hardware, data, control, and learning can be designed together for robot learning. More results at https://pixel-robot.com/pixel

関連論文

PR本紙発行元 EmplifAI