日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2611.25243

Verify2Act: 批評家ガイド付き潜在ワールドモデルによる言語条件付き操作計画の検証

Verify2Act: Critic-Guided Latent World Models for Verifying Language-Conditioned Manipulation Plans

シェア:XThreadsFacebookLINEはてブBluesky

VLMが提案した操作計画をDINOv2特徴空間の潜在ワールドモデルで想像し、二頭批評家で時間的一貫性と目標達成を検証してから実行する枠組み。低コストアームで83.3%の成功率を達成。

詳しい要約

1. どんなもの?

- VLMが提案する多段階のlanguage-conditioned manipulation planを、実行前に検証するモジュール型フレームワーク Verify2Act の提案。 - 意味的なaction proposalとlatent physical verificationを分離する構成。 - VLMが候補planを提案。 - latent world model (V2A-WM) がDINOv2 feature space上で各planを想像(rollout)。 - dual-head criticが想像されたrolloutのtemporal consistencyとgoal satisfactionを検査。 - 低コストロボットアームに実装し、world modelとcriticはdigital twinで生成したデータのみで学習。

2. 先行研究と比べてどこがすごい?

- pixel-level world modelによる検証は遅く、長いhorizonでdriftする問題があると指摘。 - 提案手法はDINOv2 feature space上のlatent world modelで検証するため、pixel-diffusion world modelより高い成功率(83.3% vs 46.7%)。 - 提案のarchitectural changesを除いたlatent world model(61.7%)やVLM単体(53.3%)より高い成功率。 - pixel-diffusion検証と比べ、reflective VLM callsを30倍少なくしてCALVINのfive-task chain successで最高性能。

3. 技術・手法の肝は?

- VLMが候補planを提案し、V2A-WMがDINOv2 feature spaceで各planを想像する分離設計。 - V2A-WMは最近のflow-matching world modelsを拡張し、cross-attention action groundingとcausal temporal history windowを追加。 - dual-head criticが想像rolloutのtemporal consistencyとgoal satisfactionを検査し、実行前にplanを選別。 - world modelとcriticはdigital twinで生成したデータのみで学習。

4. どうやって有効だと検証した?

- 低コストロボットアーム上で6つのlanguage-conditioned tasksを評価。 - Verify2Act: 83.3% task success。 - architectural changesなしのlatent world model: 61.7%。 - VLM単体: 53.3%。 - pixel-diffusion world model: 46.7%。 - 実行した全planを検証し、planning起因の失敗はゼロ。失敗episodeはすべてlow-level graspまたはplacement slips由来。 - シミュレーションでCALVINのfive-task chain successが比較baseline中最高、cluttered nut assemblyでも最高success。

5. 議論はある?

- 失敗はすべてlow-level grasp/placement slipsに起因し、planning-induced failuresはなかったと報告。 - pixel-diffusion検証よりreflective VLM callsが30倍少ない点を効率性の根拠として提示。 - digital twinのみで学習したworld model/criticの実機展開可能性を示唆。 - 限界や失敗要因の詳細な分析、一般化可能性については要旨からは不明。

6. 次に読むべき論文は?

- flow-matching world models(要旨でV2A-WMが拡張したとされる関連手法)。 - pixel-diffusion world model(比較baseline)。 - DINOv2(特徴空間として使用)。 - CALVIN(評価benchmark)。 - VLMベースのplanning手法(比較対象のVLM単体)。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Chrisantus Eze, Christopher Crick

分類: cs.RO

原文アブストラクト

Vision-Language Models (VLMs) can propose multi-step manipulation plans, but they have no grounded model of how a scene will change, and the pixel-level world models that could check those plans are slow and drift over long horizons. We present Verify2Act, a modular verification framework that separates semantic action proposal from latent physical verification. A VLM proposes candidate plans, a latent world model (V2A-WM) imagines each of them in the DINOv2 feature space, and a dual-head critic checks the imagined rollouts for temporal consistency and goal satisfaction before anything is executed. V2A-WM extends recent flow-matching world models with cross-attention action grounding and a causal temporal history window. We deploy the full system on a low-cost robot arm, training the world model and critic only on data generated in a digital twin. Across six language-conditioned tasks, Verify2Act reaches 83.3\% task success, compared with 61.7\% for a latent world model without our architectural changes, 53.3\% for the VLM alone, and 46.7\% for a pixel-diffusion world model. It verified every plan it executed and incurred no planning-induced failures: all of its failed episodes were caused by low-level grasp or placement slips. In simulation, Verify2Act obtains the highest five-task chain success on CALVIN among the compared baselines with 30$\times$ fewer reflective VLM calls than pixel-diffusion verification, and the highest success on cluttered nut assembly.

関連論文

  1. 1パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  2. 2川崎重工業のロボット外販を報道新製品・発表
  3. 3Boston Dynamics、GlobalFoundriesでAtlasを試験へ 半導体製造で2027年初頭から半導体・GPU
  4. 4丸文、RealManのロボットアームやヒューマノイドを国内販売提携・買収
  5. 5NVIDIA、SC26で科学研究向けAIエージェントとHPC基盤を発表新製品・発表

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI