日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
ヒューマノイド/移動操作arXiv:2611.04839

行動条件付き潜在予測によるヒューマノイドの移動操作の協調

Coordinating Humanoid Loco-Manipulation through Action-Conditioned Latent Foresight

シェア:XThreadsFacebookLINEはてブBluesky

実行前に行動候補列を潜在空間で先読み評価するworld-actionモデルを提案し、ヒューマノイドの移動操作の成功率をシミュレーション・実機の両方で向上させた。

詳しい要約

1. どんなもの？

- Humanoid loco-manipulation における command sequence を実行前に評価する latent world-action model (WAM)『action-conditioned latent foresight』の提案 - 身体運動と hand interaction の協調が対象で、見た目は妥当でも物体を落とす・interaction 未完了になる問題に対処 - action generator が vision・language・robot state から joint motion-hand command sequence を生成 - action-conditioned endpoint predictor と joint temporal prior で sequence を scoring し、最良の先頭 command を実行して次観測から replan

2. 先行研究と比べてどこがすごい？

- 従来の command sequence 生成は見た目の妥当性に留まり、実行後の失敗（物体落下・interaction 未完了）を事前に判別しにくい - 提案法は実行前に sequence を latent foresight で評価する点が特徴 - SIMPLE benchmark の 10 タスクで平均成功率 89.7%（Psi-Zero 73.7%、DiT4DiT 82.0%） - 実機 7 タスクで標準条件 85.7%、unseen object configurations 65.7%（GR00T N1.7 は 70.0%、48.6%）

3. 技術・手法の肝は？

- action generator が vision・language・robot state から joint motion-hand command sequence を提案 - action-conditioned endpoint predictor が各 sequence prefix の到達 visual features を推定し、demonstration-derived subgoal への進捗を測る - joint temporal prior が robot state と先行 command を条件に temporal consistency を scoring - 最良 sequence の先頭 command を実行し、次 observation から replan - 訓練時に action consistency regularization で、観測・予測 feature 変化から最初の demonstrated command を再構成し、action-relevant 情報の保持を促す

4. どうやって有効だと検証した？

- Humanoid loco-manipulation simulation benchmark の SIMPLE で 10 タスクを評価 - 実機 7 タスクで標準条件と unseen object configurations を評価 - 比較対象は Psi-Zero、DiT4DiT、GR00T N1.7 - 成功率の数値比較により有効性を報告（詳細な ablation は要旨からは不明）

5. 議論はある？

- unseen object configurations では成功率が 85.7% から 65.7% へ低下し、汎化に課題が残る - 評価は SIMPLE と実機 7 タスクに限られ、他 benchmark やタスクへの一般性は要旨からは不明 - latent foresight の計算コストや real-time 性、失敗モードの分析は要旨からは不明 - action consistency regularization の寄与度は要旨からは不明

6. 次に読むべき論文は？

- Psi-Zero - DiT4DiT - GR00T N1.7 - latent world-action model (WAM) 関連の world model 研究 - humanoid loco-manipulation benchmark SIMPLE 関連の研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ju Dong, Xinyu Xiao, Yiming Zhou, Tianshuo Yang, Xuerong Liu, Lei Zhang, Jian Chen, Haocheng Zhao, Yu Fu, Yujie Wei, Diwen Zheng, Alois Christian Knoll, Angela P. Schoellig, Ping Luo, Jianwei Zhang

分類: cs.RO

原文アブストラクト

Humanoid loco-manipulation requires coordinated body motion and hand interaction over time, and a plausible-looking command sequence can still drop a held object or leave an interaction incomplete. We present action-conditioned latent foresight, a latent world-action model (WAM) that evaluates proposed command sequences before execution. An action generator proposes joint motion-hand command sequences from vision, language, and the robot state. An action-conditioned endpoint predictor estimates the visual features each sequence prefix reaches and measures progress toward a demonstration-derived subgoal, while a joint temporal prior scores temporal consistency given the robot state and preceding commands. The robot executes the first commands of the best-scoring sequence and replans from the next observation. During training, action consistency regularization reconstructs the first demonstrated command from observed and predicted feature changes, encouraging the predictor to retain action-relevant information. On ten tasks in the humanoid loco-manipulation simulation benchmark SIMPLE, our method achieves 89.7% average success, compared with 73.7% for Psi-Zero and 82.0% for DiT4DiT. On seven real-robot tasks, it achieves 85.7% under standard conditions and 65.7% under unseen object configurations, while GR00T N1.7 achieves 70.0% and 48.6%, respectively. Project page: https://ju6276.github.io/Action-Grounded-Foresight/

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI