日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
ヒューマノイド操作arXiv:2611.02871

ReGATE：再帰ゲート付き視覚融合による反応型ヒューマノイド物体操作

ReGATE: Recurrent Gated Visual Fusion for Reactive Humanoid-Object Interaction

シェア:XThreadsFacebookLINEはてブBluesky

自己中心深度・固有感覚・オンライン指令を再帰アダプタで融合し、物体姿勢推定器なしで接触状態を推定する全身制御器を提案。Unitree G1で把持・運搬・解放を実現し、視覚遮断時も物体取得に成功した。

詳しい要約

1. どんなもの？

- ヒューマノイドの loco-manipulation のための whole-body controller「ReGATE」 - 物体の把持・運搬・解放をオンボードセンシングで実行 - egocentric depth、proprioception、オンラインの locomotion/contact commands を統合 - teacher-student framework に基づく - recurrent adapter で interaction-state estimation を行い、外部の object-pose estimator なしに物体形状と物理的接触を予測 - 視覚更新を proprioceptive pathway へゲート制御する head-wise/global gates を備える - シミュレーションと Unitree G1 実機で評価

2. 先行研究と比べてどこがすごい？

- 先行研究の VisualMimic と同一プロトコルで比較 - 静的物体把持 330 試行で ReGATE は 85.2%、VisualMimic は 48.5% - 動的物体把持 440 試行で 85.9% の成功率 - 主張: onboard depth と proprioception の recurrent gated fusion を perceptive locomotion から humanoid loco-manipulation へ拡張した最初の研究 - しかも視覚センシングが中断される状況下で成立

3. 技術・手法の肝は？

- teacher-student framework 上に構築 - recurrent adapter による interaction-state estimation - 外部 object-pose estimator を用いず物体形状と接触を予測 - head-wise および global gates が視覚更新を proprioceptive pathway へ調節 - 学習の工夫 - visual-grounding and corruption curriculum で adapter を訓練 - phase-aware initialization で短い接触遷移のカバレッジを向上

4. どうやって有効だと検証した？

- シミュレーション - 静的物体把持 330 試行で 85.2% 成功 - 動的物体把持 440 試行で 85.9% 成功 - 同一プロトコルの VisualMimic(48.5%)と比較 - 実機 Unitree G1 - 指令に基づく grasp-transport-release 系列を実演 - 横方向にずれた箱の把持を実演 - 定性的ハードウェア実験 - 初期観測後・接触指令前にカメラが遮蔽されても箱把持に成功

5. 議論はある？

- 視覚が中断・遮蔽される状況での頑健性を示唆 - カメラ遮蔽後の把持成功を定性的に確認 - 外部 object-pose estimator を必要としない点が特徴 - 限界や失敗要因、計算コスト、実機での定量評価の詳細は要旨からは不明 - 比較は主に VisualMimic との同一プロトコルに限定

6. 次に読むべき論文は？

- VisualMimic(本論文の主比較対象) - perceptive locomotion における recurrent gated fusion の先行研究 - teacher-student framework を用いた whole-body controller の関連研究 - humanoid loco-manipulation の object acquisition/transport/release に関する研究 - Unitree G1 を用いた実機 loco-manipulation 研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hao Zhu, Jorge Peña-Queralta

分類: cs.RO

原文アブストラクト

Humanoid loco-manipulation requires coordinating object acquisition, transport, and release from onboard sensing while responding to user commands and incomplete visual observations. We present ReGATE, a whole-body controller that combines egocentric depth, proprioception, and online locomotion and contact commands. Built on a teacher-student framework, ReGATE integrates interaction-state estimation through a recurrent adapter that predicts object geometry and physical contact without an external object-pose estimator. Head-wise and global gates regulate visual updates to a proprioceptive pathway. A visual-grounding and corruption curriculum trains the adapter, while phase-aware initialization increases coverage of brief contact transitions. In simulation, ReGATE achieves 85.2% success across 330 static-object acquisition trials, compared with 48.5% for VisualMimic under the same protocol, and 85.9% across 440 moving-object acquisition trials. Deployment on a Unitree G1 demonstrates commanded grasp-transport-release sequences and acquisition of laterally displaced boxes. A qualitative hardware experiment further demonstrates successful box acquisition when the camera is occluded after an initial observation and before the contact command. To the best of our knowledge, this is the first work to extend recurrent gated fusion of onboard depth and proprioception from perceptive locomotion to humanoid loco-manipulation under interrupted visual sensing.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI