LaST0.5: 相互作用中心の潜在推論を備えた汎用ワールドアクションモデル
LaST0.5: A Generalist World Action Model with Interaction-Centric Latent Reasoning
ロボットと物体の局所的な相互作用に着目した潜在空間を世界モデルと行動生成の間に導入し、大規模データで事前学習した操作向けワールドアクションモデル。LIBEROで99.5%を達成。
詳しい要約
1. どんなもの？
2. 先行研究と比べてどこがすごい？
3. 技術・手法の肝は？
4. どうやって有効だと検証した？
5. 議論はある？
6. 次に読むべき論文は？
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Xuheng Zhang, Yiming Zhang, Jialin Gao, Hao Chen, Jiaming Liu, Ji Li, Runzhong Huang, Yinxi Wang, Chenyang Gu, Zihan Yang, Yaowei Liu, Zhonghao Yan, Ziyu Guo, Renrui Zhang, Peng Jia, Pheng-Ann Heng, Shanghang Zhang
分類: cs.RO
原文アブストラクト
World Action Models (WAMs) have recently emerged as a promising paradigm for robotic manipulation, endowing policies with strong capabilities for modeling temporal and physical dynamics. Existing WAMs, encompassing both video-first action prediction and joint video-action modeling, directly transfer global physical representations from world models to action generation. However, global scene representations may underemphasize local robot-object interactions, creating a mismatch between representations optimized for world evolution and those required for manipulation. To bridge this gap, we propose LaST0.5, a novel WAM that introduces an interaction-centric physical representation between world modeling and action generation. Specifically, LaST0.5 learns a compact interaction-centric latent space under the supervision of visual interaction cues between the robot and the environment. This reasoning space is instantiated as a latent expert that bridges the world expert and the action expert within a Mixture-of-Transformers architecture. Furthermore, LaST0.5 performs adaptive world-to-action transfer by jointly predicting future representations and progress values, using progress consistency to adjust action execution and trigger future resampling. Finally, we pretrain LaST0.5 on a large-scale robotic data corpus comprising over 14k hours of data, establishing interaction-centric physical reasoning as a scalable and effective paradigm. LaST0.5 achieves 99.5% on LIBERO, surpasses the previous state of the art on ten evaluated RLBench tasks, and demonstrates robust long-horizon execution and precise dexterous manipulation in real-world experiments.
関連論文
- 事前学習済み潜在ワールドモデルの少数ショット残差適応ワールドモデル
- 表形式基盤モデルを訓練不要のワールドモデルとして評価するワールドモデル
- 部分観測下での制御指向型構造化双線形ワールドモデルワールドモデル
- 運転ワールドモデルにおける生存者バイアスの打破ワールドモデル
- PlayGen2: 明示的な3D状態でリアルタイムに遊べる世界を学習するワールドモデル
- 3D粒子運動として世界をモデル化する生成型ワールドモデルワールドモデル