日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
全身制御arXiv:2610.12772

Reflex: 視覚に基づく反応型ヒューマノイド全身制御

Reflex: Visually Grounded Reactive Humanoid Control

シェア:XThreadsFacebookLINEはてブBluesky

投げられた箱を一人称RGB-D視覚から全身で捕球するヒューマノイド制御を、強化学習と視覚エンコーダを段階的に学習する3段階フレームワークで実現した。

詳しい要約

1. どんなもの？

- ヒューマノイドによる視覚反応型の全身制御を扱う研究 - タスクは投げられた箱をキャッチすること - 必要な能力は全身制御、物体ダイナミクスへのリアルタイム反応、egocentric vision に基づく知覚 - Reflex という3段階フレームワークを提案 - シミュレーションと実機 Unitree G1 で検証

2. 先行研究と比べてどこがすごい？

- 既存システムは end-effectors、motion capture、marked objects に依存し、3能力の一部のみをカバー - Reflex は egocentric RGB-D のみから全身キャッチを学習 - シミュレーションで 85.7% の成功率を達成し、特権的な box 観測時の 87.9% に迫る - 実機 Unitree G1 で 2.5 m で 65%、5 m で 40% の成功率 - 同距離の人間キャッチャーの 76% と 59% に相当

3. 技術・手法の肝は？

- 3段階で能力を段階的に学習 - 第1段階: state-based policy を reinforcement learning で学習し全身キャッチを獲得 - 第2段階: 遅延・不完全な観測から moving box の dynamics を推論 - 第3段階: egocentric RGB-D encoder が視覚から dynamics representation を直接復元 - 各段階を compact representation of object dynamics で接続 - 全身コントローラは固定したまま視覚学習をスケール

4. どうやって有効だと検証した？

- シミュレーションで egocentric RGB-D から 85.7% のキャッチ成功率 - 特権的な box 観測では 87.9% - 時間的視覚履歴の除去で centered と laterally offset の投擲でそれぞれ 35.6 と 39.8 ポイント低下 - 実機 Unitree G1 で人間が投げた箱を 2.5 m で 65%、5 m で 40% の成功率でキャッチ

5. 議論はある？

- 時間的視覚履歴が重要であることを示す - 視覚学習のスケーラビリティが向上 - 実機での成功率は人間より低いが、距離に応じた性能低下を確認 - 要旨からは不明な点として、他のタスクへの汎化や失敗モードの詳細は述べられていない

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究は明示されていない - 関連手法として reinforcement learning、egocentric vision、RGB-D encoder、whole-body control が挙げられる - 同分野の定番として humanoid locomotion や manipulation の研究が考えられる

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Taoyang Jia, Weikai Huang, Linxin Song, Jared Darlington, Jieyu Zhao, Yue Wang, Jiafei Duan, Zhongzheng Ren, Ranjay Krishna

分類: cs.RO

原文アブストラクト

Humans effortlessly react to the world; they adeptly return a tennis shot, catch a falling cup, step aside from a passing cart, or pass a box tossed during truck unloading. These everyday actions require anticipating a moving target and reflexively responding with the whole body within about a second. Such visual reactive whole-body control remains challenging for humanoids, which must (1) coordinate whole-body control, (2) react to object dynamics in real time, and (3) ground perception in egocentric vision. We study catching thrown boxes as a representative task that demands all three capabilities; existing systems cover only part of it, relying on end-effectors, motion capture, or marked objects. We present Reflex, a three-stage framework that learns these capabilities stage by stage while connecting them through a compact representation of object dynamics. First, a state-based policy learns whole-body catching with reinforcement learning. Second, the policy learns to infer the dynamics of a moving box from delayed and incomplete observations. Third, an egocentric RGB-D encoder learns to recover this dynamics representation directly from visual observations while keeping the whole-body controller fixed. This decomposition provides each capability with a direct training signal and makes visual learning substantially more scalable. In simulation, Reflex achieves 85.7% catch success from egocentric RGB-D, compared with 87.9% when given privileged box observations. Temporal visual history is critical: removing it reduces success by 35.6 and 39.8 points on centered and laterally offset throws. On a real Unitree G1, Reflex catches human-thrown boxes with 65% and 40% success at 2.5 and 5 m, reaching 76% and 59% of human catchers' success at the same distances.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI