日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2611.21258

ThinkWAM:潜在未来を再考して行動を洗練する世界行動モデル

ThinkWAM: Rethinking Latent Futures for Action Refinement

シェア:XThreadsFacebookLINEはてブBluesky

行動チャンクを提案した後に潜在空間で未来予測を補正し、その補正を再入力して実行行動を洗練する提案-再考-洗練ループを導入した世界行動モデル。LIBEROや実機OOD条件で高い成功率を示した。

詳しい要約

1. どんなもの?

- World-action models (WAMs) の一種で、実行前に action chunk を洗練する枠組み - 提案→再考→洗練 (proposal-rethink-refine) のループで双方向フィードバックを実現 - 全ての予測を latent space 内で行う latent WAM - 実世界 OOD を含む複数ベンチマークで評価されたロボット操作ポリシー

2. 先行研究と比べてどこがすごい?

- 従来の WAMs は action chunk に条件付けない未来予測を行い、提案行動が視覚表現に与える変化を反映できなかった - ThinkWAM は proposal が未来 latent を補正し、その補正済み latent を同一 action head の二回目パスに注入 - 実行前に双方向フィードバックを成立させる点が差分 - 予測を latent space に留める点も特徴

3. 技術・手法の肝は?

- ポリシーが完全な action chunk を提案 - 提案が学習された residual で multi-horizon 未来 latent を補正 - 補正済み latent を同一 action head の二回目パスに注入し実行可能 chunk を生成 - affordance-guided observation-action memory を利用 - predictive coding に動機づけられた near-fine, far-coarse な multi-horizon 予測 - 推論は二回パスで、action chunk あたり平均 153.48 ms (LIBERO)、164.61 ms (RoboTwin)、101.2 ms (Galaxea A1Z)

4. どうやって有効だと検証した?

- LIBERO で 98.70%、LIBERO-Plus で OOD fine-tuning なしに 84.76% - RoboTwin 2.0 で Clean 85.75% / Random 65.85% - RoboCasa24 で 65.17% - 実世界 3 種の OOD 条件で平均 64.4% - ablation で rethinking と affordance guidance の相補的利得を確認 - 診断で proposal-conditioned correction が予測未来と行動軌跡の両方を変え、補正済み未来表現が最終行動を改善することを示す

5. 議論はある?

- 二回パス推論による latency (101.2–164.61 ms/chunk) の影響は要旨からは不明 - 実世界 OOD の具体的条件や失敗要因は要旨からは不明 - latent 予測のみで visual 予測を明示しない設計の限界は要旨からは不明 - ablation の詳細な設定・数値は要旨からは不明

6. 次に読むべき論文は?

- World-action models (WAMs) の代表的研究 - LIBERO / LIBERO-Plus / RoboTwin 2.0 / RoboCasa24 を用いる関連研究 - predictive coding に基づく予測手法 - affordance-guided な memory や observation-action memory の関連研究 - latent space での future prediction を用いるロボットポリシー研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Haoyun Tang, Baqiao Deng, Enjin Zhou, Songwen Tian, Keyao Xu, Bowen Jing, Kun Wang, Ke Ma, Zhandong Mei, Huibin Li

分類: cs.RO

原文アブストラクト

World-action models (WAMs) couple action generation with predictions of future states. An initial action chunk may be flawed. A future prediction that is not conditioned on the chunk may fail to reflect the changes that the proposed actions would induce in visual representations, limiting its usefulness for refinement before execution. We introduce ThinkWAM, a latent WAM that establishes bidirectional feedback before execution through a proposal-rethink-refine loop: the policy first proposes a complete action chunk, the proposal corrects multi-horizon future latents through a learned residual, and the corrected latents are injected into a second pass of the same action head, which generates the executable chunk. An affordance-guided observation-action memory and a near-fine, far-coarse multi-horizon prediction scheme, both motivated by predictive coding, support this loop, and all prediction stays in latent space. ThinkWAM achieves 98.70% success on LIBERO, 84.76% on LIBERO-Plus without OOD fine-tuning, 85.75%/65.85% on RoboTwin 2.0 Clean/Random, and 65.17% on RoboCasa24. ThinkWAM achieves 64.4% mean success across three real-world OOD conditions. The mean two-pass inference latency per action chunk is 153.48 ms on LIBERO, 164.61 ms on RoboTwin, and 101.2 ms on the Galaxea A1Z. Ablations show complementary gains from rethinking and affordance guidance. Diagnostics indicate that proposal-conditioned corrections change both predicted futures and action trajectories, showing that the corrected future representations improve the final action.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2Google DeepMind、ロボット向けAIを発表新製品・発表
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  5. 5SoftBank主導、Agile Robotsが5億ドル調達 NVIDIAと日立も参加資金調達

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI