日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
VLAarXiv:2610.23334

言語・行動・世界モデルを統合するエージェント型フィジカル知能フレームワークLAW

LAW: Unifying Language, Action, and World Modeling for Agentic Physical Intelligence

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語モデルとワールドアクションモデルをサブタスク進捗で閉ループ統合し、長期的なロボットマニピュレーションを実現した研究。RoboTwinで94%超の成功率を達成。

詳しい要約

1. どんなもの?

- LAWは、言語推論・行動生成・world modelingを統合したclosed-loopのVLM–WAMフレームワーク。 - 長期的なmanipulationには、subtask計画・進捗評価・行動選択のためのlanguage reasoningが必要という動機。 - 構成要素は、hybrid-expert vision-language model(VLM)とworld-action model(WAM)。 - semantic subtask progressを介して両者を結び、言語・行動・world state予測を統合する。 - 50のRoboTwinタスクで平均94.21%成功、実ロボット3つのlong-horizonタスクで平均65%成功を報告。

2. 先行研究と比べてどこがすごい?

- 従来のworld-action modelsは行動と将来world stateを同時予測するが、long-horizon manipulationに必要なlanguage reasoningによるsubtask計画・進捗評価・行動選択が不足していた。 - LAWはVLMとWAMをclosed-loopで統合し、semantic subtask progressで両者を接続する点が新しい。 - WAM backboneをOpenWAM-$alpha$に置換するとRoboTwin平均95.56%となり、open-source state of the artを更新。 - 2BパラメータのVLMがEmbodied-R1.5やGPT-5.5 Highを用いるvariantを上回る。 - 実ロボットlong-horizon 3タスクで65%成功、$pi_{0.5}$の28.33%、Fast-WAMの25%を上回る。

3. 技術・手法の肝は?

- LAW agent内のhybrid-expert VLMが残りsubtaskを計画し、WAMが提案する行動の価値推定とfusionを行う。 - VLMは実行statusを非同期に評価し、継続実行とsubtask遷移を支援する。 - WAM内ではMixture-of-Transformer Expertsがmodality-specific計算とshared計算を統合し、video–action joint modelingを行う。 - Dual-stream hierarchical visual memoryが両モデルのtemporal contextを保持。 - subtask-local value learningにより行動評価をsemantic objectiveに整合させ、失敗trajectoryの成功prefixからのsupervisionを保持する。

4. どうやって有効だと検証した?

- RoboTwinの50タスクで平均94.21%成功を報告。 - WAM backboneをOpenWAM-$alpha$に置換し、平均95.56%成功でopen-source state of the artを達成。 - 2BパラメータのVLMがEmbodied-R1.5やGPT-5.5 Highを用いるvariantを上回ることを示す。 - 実ロボットのlong-horizon 3タスクで平均65%成功を報告し、$pi_{0.5}$の28.33%、Fast-WAMの25%と比較。

5. 議論はある?

- 要旨からは不明。 - 明示されているのは、language reasoningとworld-action modelingの統合、subtask-local value learning、非同期な実行status評価の有効性。 - 限界や失敗要因、計算コスト、実ロボット評価の詳細な議論は要旨からは不明。

6. 次に読むべき論文は?

- OpenWAM-$alpha$(WAM backboneとして比較・置換)。 - Embodied-R1.5(VLM variantとして比較)。 - GPT-5.5 High(VLM variantとして比較)。 - $pi_{0.5}$(実ロボットlong-horizonタスクの比較対象)。 - Fast-WAM(実ロボットlong-horizonタスクの比較対象)。 - RoboTwin(評価benchmark)。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jiajun Cao, Kai Tang, Bohua Zhang, Zezhong Qian, Ying Li, Xiaozhu Ju, Xiaobao Wei, Jiaming Liu, Yang Ding, Sixiang Chen, Yiding Sun, Siyuan Qian, Tinghao Wang, Jixian Wu, Yichen Guo, Yi Zhang, Shilong Zou, Yong Dai, Jian Tang, Shanghang Zhang

分類: cs.RO

原文アブストラクト

World-action models jointly predict actions and future world states, but long-horizon manipulation further requires language reasoning to plan subtask objectives, assess execution progress, and guide action selection. We present LAW, a closed-loop VLM--WAM framework that unifies language reasoning, action generation, and world modeling through semantic subtask progress. Within the LAW agent, a hybrid-expert vision-language model plans the remaining subtasks, estimates the values of and fuses actions proposed by a world-action model, and asynchronously assesses execution status to support continued execution and subtask transitions. Within the world-action model, Mixture-of-Transformer Experts integrates modality-specific and shared computation for joint video--action modeling. Dual-stream hierarchical visual memory maintains temporal context for both models, while subtask-local value learning aligns action evaluation with semantic objectives and preserves supervision from successful prefixes of failed trajectories. LAW achieves 94.21% average success across 50 RoboTwin tasks. Replacing the WAM backbone with OpenWAM-$alpha$ further raises the average success rate to 95.56%, establishing a new open-source state of the art on RoboTwin. Despite having only 2B parameters, our VLM also outperforms variants using Embodied-R1.5 and GPT-5.5 High. On three long-horizon real-robot tasks, LAW achieves 65% average success, compared with 28.33% for $pi_{0.5}$ and 25% for Fast-WAM.

関連論文

PR本紙発行元 EmplifAI