VLA2026/9/15arXiv:2609.17524

モダリティ自己回帰型ワールドアクションモデル

Modality-Autoregressive World-Action Models

将来の観測と行動を複数の視覚モダリティ（点追跡・DINO特徴・深度）で自己回帰的に予測するModARを提案し、RGB予測より効率的で成功率も高いことを示した。

詳しい要約

1. どんなもの？

- 世界行動モデル（WAM）の新手法ModARを提案。 - 未来の観測と行動を同時にモデル化するWAMにおいて、RGB画像だけでなくdepth、DINO features、point tracksなどの視覚モダリティを自己回帰的にノイズ除去しながら予測する。 - 各モダリティの予測が以前に生成されたモダリティに条件付けられる。 - 訓練データ混合、予測モダリティ、WAM定式化の影響を体系的に研究。

2. 先行研究と比べてどこがすごい？

- 従来のWAMは未来をRGB画像として予測するのが一般的。 - ModARは複数の視覚モダリティを自己回帰的にデノイズする初のWAM。 - 逐次生成により既存のWAM定式化を上回り、評価したすべてのデータスケールで最高の平均成功率を達成。 - ビデオモデル初期化WAM Flex-πと比較して、約20倍少ない訓練FLOPsでやや高い成功率（75% vs 72%）を達成し、事前学習不要。

3. 技術・手法の肝は？

- 未来の複数モダリティ（point tracks、DINO features、depth mapsなど）を自己回帰的にデノイズし、その後行動を予測。 - 各モダリティ予測は以前に生成されたモダリティに条件付けられる。 - 訓練データ混合、予測モダリティ、WAM定式化を系統的に研究するためスクラッチから訓練。 - RGBの追加予測は一貫した利益をもたらさないことを発見。

4. どうやって有効だと検証した？

- 訓練データ混合、予測モダリティ、WAM定式化の影響を体系的に評価。 - すべての評価データスケールでModARの逐次生成が既存WAM定式化を上回り、最高平均成功率を達成。 - Flex-πとの比較で、ModARは約20倍少ない訓練FLOPsでやや高い成功率（75% vs 72%）を観測。 - 3つの実世界両手タスクでベースラインを上回り、人間のビデオで改善。

5. 議論はある？

- point tracks、DINO features、depth mapsの予測がWAMに利益をもたらす一方、未来RGBの追加予測は一貫した利益をもたらさない。 - ModARの逐次生成が既存WAM定式化より優れる。 - 実世界両手タスクで有効性を示し、人間のビデオで改善。 - 訓練データ混合や予測モダリティの選択が性能に影響することを示唆。

6. 次に読むべき論文は？

- Flex-π（ビデオモデル初期化WAM） - 既存のWAM定式化 - point tracks、DINO features、depth mapsを予測する手法 - 実世界両手タスクにおけるベースライン

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Adam Hung, Bardienus P. Duisterhof, Deva Ramanan, Jeffrey Ichnowski

分類: cs.RO

原文アブストラクト

World-action models (WAMs) jointly model future observations and actions, typically predicting the future as RGB images. Other visual modalities such as depth, pretrained visual features, and point tracks can more efficiently capture geometric, semantic, and motion features. However, how best to combine these modalities within WAMs remains an open question. We introduce ModAR, the first WAM to autoregressively denoise multiple future modalities before predicting actions. This allows each prediction to condition on previously generated modalities. We train from scratch to systematically study how training-data mixtures, predicted modalities, and WAM formulations affect performance. In our evaluations, WAMs benefit from predicting point tracks, DINO features, and depth maps, while additionally predicting future RGB does not provide a consistent benefit. We also find that ModAR's sequential generation outperforms existing WAM formulations, with the highest average success rate at all evaluated data scales. We also fine-tune the video-model-initialized WAM Flex-$π$ on the same data; ModAR achieves a slightly higher observed average success rate (75% vs. 72%) while using approximately $20\times$ fewer training FLOPs and no pretraining. On three real-world bimanual tasks, ModAR outperforms baselines and improves with human videos.

arXivで原文を読む →arXiv概要ページ