VLA2026/8/6arXiv:2608.05903v2

Robust-WAM: 生成事前学習と意味的予見を橋渡しするワールド・アクションモデル

Robust-WAM: Bridging Generative Pretraining and Semantic Foresight in World-Action Models

ロボット制御用のワールド・アクションモデルにおいて、VAE潜在空間の生成事前学習を保ちつつ、意味的潜在空間の頑健性を組み込む後処理手法を提案した。外観変化に頑健なアクション予測を実現する。

詳しい要約

1. どんなもの？

Robust-WAMは、ビデオ生成モデル（VGM）ベースのWorld-Action Models（WAMs）のための一般的なポストトレーニング手法。VAE潜在空間の生成パスを維持しつつ、アクションストリームに軽量なセマンティック・フォアサイト整合目的を追加する。これにより、大規模VGM事前学習を保持しながら、照明変化などの視覚的分布外条件下でも信頼できる外観不変のダイナミクスにアクションを基づける。

2. 先行研究と比べてどこがすごい？

従来のWAMはVAE潜在空間で事前学習されたVGMを適応するが、VAE空間はピクセル再構成に最適化され、外観変化に対してアクション予測が脆弱。一方、セマンティック潜在空間のWAMは外観変化に頑健だが、VAE空間にしか存在しない大規模VGM事前学習を活用できない。Robust-WAMは両者の利点を組み合わせ、VAE生成パスを保持しつつセマンティック整合を追加することで、事前学習の利点を失わずに頑健性を向上させる。

3. 技術・手法の肝は？

学習可能なクエリトークンを用いて、将来シーンのセマンティクスをアクションストリームに取り込む。具体的には、クエリの出力隠れ状態を将来のグラウンドトゥルースフレームのセマンティック・フォアサイトと整合させる。各クエリとそれが記述する将来ステップとの時間的対応を確立するため、対応するアクショントークンの位置エンコーディングをクエリに与える。

4. どうやって有効だと検証した？

分布外一般化シミュレーションベンチマークと実ロボットセットアップで実験。複数のWAMベースラインの成功率を、分布内性能を犠牲にすることなく一貫して向上させた。

5. 議論はある？

要旨からは、提案手法の限界や潜在的な欠点についての議論は不明。ただし、セマンティック整合の計算コストや、クエリトークンの設計選択が性能に与える影響などが考えられるが、要旨には記載がない。

6. 次に読むべき論文は？

要旨で参照されている関連研究として、World-Action Models (WAMs)、pretrained video generation models (VGMs)、variational autoencoder (VAE) latent space、semantic latent spaceに基づくWAMsが挙げられる。具体的な論文名は不明だが、これらの手法の詳細を扱った論文を読むことが推奨される。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Haodong Yan, Junfeng Li, Junjie He, Zhide Zhong, MingMing Yu, Wenxuan Song, Jiaguan Zhu, Yangyang Zheng, Yuqiao Du, Jiadi You, Yingjie Cai, Xu Yan, Guanyi Zhao, Bingbing Liu, Haoang Li

分類: cs.CV, cs.RO

原文アブストラクト

Mainstream World-Action Models (WAMs) adapt pretrained video generation models (VGMs) for robot control, transferring their learned dynamics prior for action prediction. These VGMs are typically trained in a variational autoencoder (VAE) latent space. However, the VAE latent space is optimized for pixel reconstruction, which rewards fine appearance detail and leaves the action prediction fragile under visual shifts. Recent works build WAMs in semantic latent space, which are more robust to appearance shifts. However, these models cannot leverage the large-scale VGM pretraining that exists only in VAE space. To overcome this dilemma, we propose Robust-WAM, a general post-training method for video-generation-based WAMs that preserves the VAE-based generative path and adds a lightweight semantic foresight alignment objective on the action stream. This retains the large-scale VGM pretraining while grounding actions in appearance-invariant dynamics that stay reliable under illumination shifts and other visual out-of-distribution conditions. Specifically, we employ learnable query tokens to bring future-scene semantics into the action stream by aligning their output hidden states with the semantic foresight of future ground-truth frames. To establish the temporal correspondence between each query and the future step it describes, we give it the positional encoding of the matching action tokens. Experiments on out-of-distribution generalization simulation benchmarks and a real-robot setup show that our Robust-WAM consistently improves the success rates of multiple WAM baselines without sacrificing in-distribution performance.

arXivで原文を読む →arXiv概要ページ

← 論文一覧