日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2611.23803

CoT-WAM: 計画潜在表現による視覚言語モデルとワールドアクションモデルの協調学習

CoT-WAM: Collaborative Training of Vision-Language Models and World-Action Models via Plan Latents

シェア:XThreadsFacebookLINEはてブBluesky

VLMの意味理解とWAMの物理予測を学習可能な埋め込みで橋渡しし、2段階学習で協調最適化するロボット操作フレームワークを提案。LIBEROやCALVINなどでSOTAを達成し、ゼロショット汎化と長期計画も向上。

詳しい要約

1. どんなもの?

- 対象: ロボット操作のための WAM(World Action Model)と VLM(Vision-Language Model)の統合フレームワーク CoT-WAM を提案する研究。 - 目的: 一般のロボット操作には意味的推論能力と物理的先読みの両方が必要だが、既存 WAM は open-world な scene understanding・semantic reasoning・long-horizon planning が弱い。 - 構成: VLM の semantic prior を WAM の予測・制御に組み込み、両者を jointly trained する枠組み。 - 評価: 制御性能・zero-shot generalization・long-horizon planning の 6 benchmarks と real-world experiments で検証。

2. 先行研究と比べてどこがすごい?

- 既存 WAM: visual foresight と action distribution を jointly modeling し物理世界の理解・予測は得るが、open-world scene understanding・semantic reasoning・long-horizon planning の意味的能力が不足。 - 既存 VLM: 意味的能力は持つが、その semantic prior を WAM の予測・制御へ効果的に統合するのが困難。 - 本研究: 学習可能な embedding を介して VLM と WAM の情報交換を行い、two-stage training で joint optimization を実現。 - 結果: LIBERO・CALVIN・RoboCasa-Kitchen で SOTA、LIBERO-Plus・LIBERO-Pro で fine-tuning なしの zero-shot generalization 向上、RoboCasa365 で external planners の有無を問わず long-horizon plan…

3. 技術・手法の肝は?

- 中核: VLM と WAM の間で情報を交換する learnable embedding を用いる jointly trained WAM-VLM framework。 - 監督: この embedding を訓練中に textual signals と goal-image signals で supervise し、rich intent information を符号化。 - 訓練: VLM と WAM の joint optimization と協調を促す tailored two-stage training strategy を採用。 - 推論: 学習した plan latents を介して VLM の意味的計画を WAM の予測・制御へ橋渡しする構成と解釈できる(詳細は要旨からは不明)。

4. どうやって有効だと検証した?

- 範囲: control performance・zero-shot generalization・long-horizon planning をカバーする 6 benchmarks で評価。 - 制御性能: LIBERO・CALVIN・RoboCasa-Kitchen で SOTA を達成。 - zero-shot: LIBERO-Plus・LIBERO-Pro で fine-tuning なしに強い generalization を示す。 - long-horizon: RoboCasa365 で external planners あり・なしの baselines 双方より改善。 - 実機: real-world experiments で practical deployment における有効性を確認。

5. 議論はある?

- 主張: VLM の semantic prior を learnable embedding と two-stage training で WAM に統合すれば、意味的推論と物理的先読みを両立できる。 - 汎化: fine-tuning なしで LIBERO-Plus・LIBERO-Pro に汎化し、external planners なしでも long-horizon planning が改善。 - 制約・限界: 計算コスト、VLM と WAM の結合度、失敗事例、real-world 実験の規模や条件は要旨からは不明。 - 比較の公平性や ablation の詳細も要旨からは不明。

6. 次に読むべき論文は?

- 比較対象として要旨で明示される WAM(World Action Model)および VLM(Vision-Language Model)の代表的研究。 - 評価基盤として言及される LIBERO・CALVIN・RoboCasa-Kitchen・LIBERO-Plus・LIBERO-Pro・RoboCasa365 の原論文。 - 関連手法として external planners を用いる long-horizon planning 研究。 - 背景として visual foresight と action distribution の jointly modeling に関する研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jinhao Zhang, Yushen Zuo, Ke Rui, Weitao Zhou, Haibao Yu, Honglong Tian, Xiaoheng Ma, Jie Mei, Jiawei Wang, Minglei Li

分類: cs.RO

原文アブストラクト

General robot manipulation requires both semantic competence and physical foresight. World action models (WAMs) acquire an understanding of and predictive capability over the physical world by jointly modeling visual foresight and action distributions. However, existing WAMs still lack semantic competence: they have limited ability to perform open-world scene understanding, semantic reasoning, and long-horizon planning. Although vision-language models (VLMs) provide these capabilities, effectively integrating their semantic priors into WAM prediction and control remains challenging. To address this challenge, we propose CoT-WAM, a jointly trained WAM-VLM framework. CoT-WAM uses a learnable embedding to exchange information between the VLM and the WAM, which is supervised by textual and goal-image signals during training to encode rich intent information. A tailored two-stage training strategy enables joint optimization and more effective collaboration between the VLM and WAM. We evaluate CoT-WAM on six benchmarks covering control performance, zero-shot generalization, and long-horizon planning. CoT-WAM achieves SOTA performance on LIBERO, CALVIN, and RoboCasa-Kitchen, and demonstrates stronger zero-shot generalization on LIBERO-Plus and LIBERO-Pro without fine-tuning. On RoboCasa365, it further improves long-horizon planning over baselines with and without external planners. Real-world experiments further demonstrate the effectiveness of our method in practical deployments.

関連論文

  1. 1パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3日経クロステック、NVIDIA取締役会のファンCEO解任議論を報道 同社は同日、辞任を発表業界動向
  4. 4NVIDIA、ヒトの動きをロボットに適応する「SOMA Retargeter」を紹介研究・技術
  5. 5ティアフォーとTUM、Autowareでミュンヘン大型路線バスの自動運転開発を支援提携・買収

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI