日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
VLAarXiv:2610.35850

OSWAM：1ステップで行動生成する実用的ワールドアクションモデル

OSWAM: An Effective World Action Model with One-Step Action Generation

シェア:XThreadsFacebookLINEはてブBluesky

拡散過程の初期化に物理的・行動条件付きの「想像トークン」を用いることで、自動運転や身体制御において高品質な行動をわずか1ステップで生成できるワールドアクションモデルを提案した。

詳しい要約

1. どんなもの？

- 自動運転とembodied control向けのWorld Action Model（WAM） - 拡散によるaction生成を1ステップで行うOSWAMを提案 - direct-policy WAMの推論遅延問題を解消しreal-time動作を狙う - 特徴 - 数十ステップのdenoisingを1ステップに短縮 - NVIDIA RTX 5090 GPU上でcompiled inference時40msのlatency - direct-policy WAM比で約3倍のspeedup

2. 先行研究と比べてどこがすごい？

- 先行のdirect-policy WAM - 明示的なfuture visual predictionを分離し推論効率化を図るが、競争力あるaction品質には数十のdenoising stepsが必要 - 単純にstepsを減らすと非線形なmulti-step denoising trajectoryが粗い更新に潰れ品質が大幅劣化 - 提案の優位性 - 1 diffusion stepで高品質actionを生成 - direct-policy WAMおよびJoint-WAM（数十steps要）に対し同等以上、約3倍高速 - real-time compiled inference（40ms）を実現

3. 技術・手法の肝は？

- 課題認識 - random noise初期化にstructured action priorsが無いことが反復denoisingを必要とする原因と主張 - 主要構成 - imagination tokensを構築しdiffusion processを初期化、physical priorsとaction-conditioned representationsを付与 - privileged information distillation with future conditioningを導入しfuture-awareなaction生成を強化 - 結果 - 上記により1 diffusion stepでの高品質action生成を実現

4. どうやって有効だと検証した？

- 評価領域 - autonomous drivingとembodied controlの両方で実験 - 比較対象 - direct-policy WAM、Joint-WAM（数十steps必要） - 結果 - 同等またはそれ以上の結果を達成 - direct-policy WAM比で約3倍のspeedup - NVIDIA RTX 5090 GPU上でreal-time compiled inference、latency約40msを確認 - 詳細なbenchmark名・指標は要旨からは不明

5. 議論はある？

- 要旨で述べる主張 - random noise初期化のstructured action priors欠如が反復denoisingの原因という解釈 - imagination tokensとprivileged information distillationで1ステップ化が可能という立場 - 制約・限界 - 具体的な失敗ケース、汎化性、安全性、計算資源依存の議論は要旨からは不明 - 40msはNVIDIA RTX 5090 GPU上のcompiled inference条件であり、他環境でのlatencyは要旨からは不明

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究 - direct-policy World Action Models（WAM） - Joint-WAM - 関連手法として挙げられる要素 - diffusion-based action generation（denoising steps削減の文脈） - privileged information distillation - future conditioning - 同分野の定番として次に検討すべき一般名 - diffusion policy - world models - imitation learning - autonomous drivingのend-to-end planning - embodied controlのvision-language-action models

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Guowen Zhang, Liyi Chen, Xu Hu, Pengfei Wang, Jingfan Chen, Chenhang He, Lei Zhang

分類: cs.CV, cs.RO

原文アブストラクト

Direct-policy World Action Models (WAM) have demonstrated the benefits of decoupling action generation from explicit future visual prediction for efficient inference in autonomous driving and embodied control. However, they still require tens of denoising steps to achieve competitive action quality, incurring substantial latency and hindering real-time deployment. Simply reducing the number of denoising steps will collapse the nonlinear multi-step denoising trajectory into coarse updates, substantially degrading action quality. To reduce the denoising steps while enabling real-time action generation, we present an effective world action model with one-step action generation, namely OSWAM, for autonomous driving and embodied control. We argue that it is the absence of structured action priors in random noise initialization that forces direct-policy WAMs to recover coherent action sequences through iterative denoising. Hence, we construct imagination tokens to initialize the diffusion process, providing physical priors and action-conditioned representations. We further introduce privileged information distillation with future conditioning to enhance future-aware action generation. As a result, OSWAM can efficiently and effectively generate high quality actions in just one diffusion step. Our experiments demonstrate that OSWAM achieves comparable or even better results in both autonomous driving and embodied control than direct-policy WAM and Joint-WAM that require tens of steps. It obtains approximately $3\times$ speedup over direct-policy WAM baselines and supports real-time compiled inference with latency as low as 40ms on an NVIDIA RTX 5090 GPU. The project page is available at https://gwenzhang.github.io/OSWAM/

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI