日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
VLAarXiv:2608.02365v1

Faster-WAM: 世界行動モデルに深い行動モジュールは必要か?

Faster-WAM: Do World Action Models Need Deep Action Modules?

シェア:XThreadsFacebookLINEはてブBluesky

ビデオ世界モデルと行動予測を組み合わせた世界行動モデル(WAM)において、行動モジュールの深さをビデオバックボーンから切り離し、軽量な単層ヘッドをドッキングする設計(DoT)を提案。推論速度を3.2倍高速化しつつ、性能と汎化を維持した。

詳しい要約

1. どんなもの?

Faster-WAMは、World Action Models (WAMs)の推論遅延を削減するための新しいアーキテクチャ設計を提案する。WAMsはロボットの行動予測とビデオ世界モデルを結合するが、既存のshared-backboneやMixture-of-Transformers設計では行動モジュールの深さがビデオバックボーンに依存し、計算コストと遅延が大きい。Faster-WAMは、Dock of Transformer (DoT)という設計原理に基づき、事前学習済みのビデオTransformerを表現ハブとして、軽量な出力ヘッドをドッキングインターフェースで接続する。具体的には、30層のビデオバックボーンに単層の行動ヘッドをドッキングし、全層のキーとバリューを融合し、RoPE再調整を適用する。追加の具現化事前学習なしで、LIBEROとRoboTwin 2.0で競争力のある性能を達成し、LIBERO-Plusで強い分布外汎化を示す。また、制御比較で最低のエンドツーエンド遅延(66.5 ms/推論)を達成し、Fast-WAM比3.2倍の高速化を実現する。

2. 先行研究と比べてどこがすごい?

先行研究のWAMs(shared-backboneやMixture-of-Transformers設計)は、行動モジュールの深さをビデオバックボーンに合わせるため、計算オーバーヘッドと推論遅延が大きい。Faster-WAMは、ビデオ中心のDoT設計により、行動ヘッドを単層に軽量化しつつ、バックボーンの全層表現に直接アクセスできるようにした点が新しい。これにより、性能を維持しながら大幅な遅延削減を実現している。また、追加の具現化事前学習を必要としない点も優れている。

3. 技術・手法の肝は?

技術の肝は、Dock of Transformer (DoT)設計原理である。これは、事前学習済みのビデオTransformerを表現ハブとし、軽量な出力ヘッドをドッキングインターフェースで接続する。ドッキングインターフェースは、ビデオバックボーンの全層からキーとバリューを融合し、RoPE(Rotary Position Embedding)の再調整を適用する。これにより、行動ヘッドは浅くてもバックボーンの豊かな表現を利用できる。Faster-WAMはこのDoTをWAMsに適用し、30層のビデオバックボーンに単層の行動ヘッドをドッキングしている。

4. どうやって有効だと検証した?

有効性は、LIBERO、RoboTwin 2.0、LIBERO-Plusの各ベンチマークで評価された。LIBEROとRoboTwin 2.0で競争力のある性能を達成し、LIBERO-Plusで強い分布外汎化を示した。また、制御比較でエンドツーエンドの推論遅延を測定し、66.5 ms/推論でFast-WAM比3.2倍の高速化を確認した。

5. 議論はある?

要旨からは、議論の詳細は不明。ただし、ビデオ中心の設計が行動予測性能と汎化を両立できることを示唆しており、行動モジュールの深さが必ずしも性能に直結しない可能性が示唆される。また、遅延削減が実ロボット応用に重要であることが強調されている。

6. 次に読むべき論文は?

要旨で参照されている関連研究として、Fast-WAMが挙げられる。また、WAMsの基盤となるWorld Action Modelsや、ビデオ世界モデル、Transformerベースの行動予測モデル(例えば、Video World ModelsやRobot Transformers)が関連する。具体的な論文名は要旨にないため、同分野の定番として、"Learning Latent Plans from Play"や"Video Prediction Models"などが考えられるが、要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Liheng Ma, Rui Heng Yang, Zhanguang Zhang, Mateo Clemente, Ziwen Hu, Tongtong Cao, Yingxue Zhang

分類: cs.AI, cs.LG, cs.RO

原文アブストラクト

World Action Models (WAMs) couple robot action prediction with video world models. Existing WAMs with shared-backbone and Mixture-of-Transformers designs generally tie the depth of the action module to that of the video backbone, resulting in substantial computational overhead and high inference latency. To address this limitation, we introduce Dock of Transformer (DoT), a video-centric design principle that treats a pretrained video Transformer as a representation hub and connects lightweight output-heads through docking interfaces. This enables flexible output-head design while providing direct access to representations from all layers of the backbone. We then introduce \textbf{Faster-WAM}, an instantiation of DoT for WAMs, which docks a single-layer action head onto a 30-layer video backbone. The docking interface fuses keys and values from all video layers and applies RoPE realignment. Without additional embodied pretraining, Faster-WAM achieves competitive performance on LIBERO and RoboTwin 2.0 while demonstrating strong out-of-distribution generalization on LIBERO-Plus. Faster-WAM also achieves the lowest end-to-end latency in our controlled comparison, requiring only 66.5 ms per inference --- a \(3.2\times\) speedup over Fast-WAM. Overall, these results demonstrate that the video-centric DoT architecture supports flexible task-specific head design while delivering low inference latency, strong action-prediction performance, and robust generalization.