日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2611.23974

LaST1.0:制御中心の時空間推論を備えた統合潜在ワールド・アクションモデル

LaST1.0: A Unified Latent World-Action Model with Control-Centric SpatioTemporal Reasoning

シェア:XThreadsFacebookLINEはてブBluesky

操作タスクのワールドモデリングを潜在空間での制御中心の未来予測として再定式化し、手首視点から得た幾何認識的な潜在ターゲットを予測する統合World-Actionモデルを提案。RLBenchやLIBEROなどで最先端の成功率を達成。

詳しい要約

1. どんなもの?

- LaST1.0 は、ロボット操作のための unified latent World-Action Model - World-Action Models は action learning と future prediction を結合し、環境 dynamics を捉えて robust control を目指す枠組み - 本論文は manipulation の world modeling を latent space における control-centric future prediction として再定式化 - 観測全体の video future ではなく、future wrist views 由来の compact で geometry-aware な latent targets を予測 - 対象はロボット操作タスクで、2 robot embodiments・5 manipulation tasks・3 simulation benchmarks で評価

2. 先行研究と比べてどこがすごい?

- 従来の World-Action Models は reconstruction-oriented に future videos をモデル化し、control に無関係な appearance details へ大容量を割く問題があった - LaST1.0 は observation-complete な video future を予測せず、control に必要な robot-object interactions へ supervision を集中 - compact な geometry-aware latent targets を future wrist views から導出 - さらに unified architecture の visual input interface と attention mechanism を見直し - vision-encoder-free design と lightweight patch embedder を採用 - LaST-Attention を導入 - 結果として RLBench, LIBERO, LIBERO…

3. 技術・手法の肝は?

- manipulation の world modeling を latent space での control-centric future prediction として再定式化 - future wrist views から compact で geometry-aware な latent targets を導出し、それを予測対象とする - 観測全体の再構成ではなく、evolving robot-object interactions に supervision を集中 - アーキテクチャ上の工夫 - vision-encoder-free design と lightweight patch embedder により、fine-grained visual cues を backbone へ直接入力 - LaST-Attention により modalities 間の structured spatiotemporal interactions を実現 - 詳細な損失関数や学習手順は要旨からは不明

4. どうやって有効だと検証した?

- 2 robot embodiments と 5 challenging manipulation tasks で評価 - 3 simulation benchmarks で評価 - RLBench - LIBERO - LIBERO-Plus - 結果として state-of-the-art success rates を達成し、novel scenarios へ generalization することを報告 - 具体的な比較手法や ablation の詳細は要旨からは不明

5. 議論はある?

- control-centric latent world modeling が robust manipulation に有効であると結論 - reconstruction-oriented な video future 予測に対し、control に無関係な appearance details への容量配分を避ける設計の妥当性を示唆 - vision-encoder-free design と LaST-Attention の寄与についての詳細な議論は要旨からは不明 - 限界や failure cases、実機での検証範囲は要旨からは不明

6. 次に読むべき論文は?

- World-Action Models の代表的研究(要旨では個別名の参照なし) - reconstruction-oriented な video future prediction を用いる world model 系研究 - RLBench, LIBERO, LIBERO-Plus を benchmark とする manipulation policy 研究 - vision-encoder-free な architecture や latent prediction を用いる関連研究 - 要旨で具体的に参照・比較されている個別論文は不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hao Chen, Xuheng Zhang, Zhuangzhe Wu, Jiaming Liu, Shaobo Zhang, Jialin Gao, Zhonghao Yan, Di Wu, Sixiang Chen, Peng Jia, Chi-Wing Fu, Shanghang Zhang, Pheng-Ann Heng

分類: cs.RO

原文アブストラクト

World-Action Models couple action learning with future prediction, enabling robotic policies to capture environmental dynamics for robust control. However, prevailing methods take a reconstruction-oriented approach to model future videos, allocating substantial capacity to appearance details that are incidental to control. In this work, we reformulate world modeling for manipulation as control-centric future prediction in latent space, and present LaST1.0, a unified latent World-Action Model. Rather than modeling an observation-complete video future, LaST1.0 predicts compact, geometry-aware latent targets derived from future wrist views, focusing the supervision on the evolving robot-object interactions required for fine-grained manipulation. To better support this control-centric paradigm, LaST1.0 revisits the visual input interface and attention mechanism of its unified architecture. It adopts a vision-encoder-free design with a lightweight patch embedder, exposing fine-grained visual cues directly to the backbone, and introduces LaST-Attention for structured spatiotemporal interactions across modalities. Evaluations across two robot embodiments, five challenging manipulation tasks, and three simulation benchmarks---RLBench, LIBERO, and LIBERO-Plus---demonstrate that LaST1.0 achieves state-of-the-art success rates and generalizes to novel scenarios. These results demonstrate the effectiveness of control-centric latent world modeling for robust manipulation.

関連論文

  1. 1パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3日経クロステック、NVIDIA取締役会のファンCEO解任議論を報道 同社は同日、辞任を発表業界動向
  4. 4NVIDIA、ヒトの動きをロボットに適応する「SOMA Retargeter」を紹介研究・技術
  5. 5ティアフォーとTUM、Autowareでミュンヘン大型路線バスの自動運転開発を支援提携・買収

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI