日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
VLAarXiv:2610.18697

UniW(A)M：世界モデルと世界行動モデルを統合するMixture-of-Expertsフレームワーク

UniW(A)M: A Unified Mixture-of-Experts Framework for World and World-Action Models

シェア:XThreadsFacebookLINEはてブBluesky

拡散TransformerとMixture-of-Expertsを用いて、行動条件付き世界モデリングと多様な世界行動モデルを単一フレームワークに統合し、実世界マニピュレーションで高い成功率を達成した研究。

詳しい要約

1. どんなもの？

- World models (WMs) と world-action models (WAMs) を統合する UniW(A)M を提案。 - diffusion Transformers を基盤とした mixture-of-experts フレームワーク。 - action-conditioned world modeling と多様な WAM 変種を単一モデルで扱う。 - 共有 experts が共通 dynamics を、atomic capability experts が各 interface の条件経路を担う。 - 展開時に plug-in adaptive interface router (PAIR) で WAM interface を選択。

2. 先行研究と比べてどこがすごい？

- 従来は WMs と WAMs が別々に学習され、知識再利用が制限されていた。 - 本手法は共通 dynamics を共有しつつ、各パラダイム固有のモデリング能力を保持。 - 実世界 manipulation で平均成功率 88.3% を達成し、最強 baseline の 76.7% を上回る。 - WorldArena の action-conditioned world modeling で全3タスクで首位。 - AC-WM co-training が全 action interface の action generation に寄与。

3. 技術・手法の肝は？

- diffusion Transformers 上の mixture-of-experts アーキテクチャ。 - shared experts が共通 dynamics を捕捉。 - atomic capability experts を interface 間で再利用し、各 interface は独自の conditional pathway を保持。 - 展開時は backbone を凍結し、PAIR が少数の target-task chunk scenarios から学習。 - PAIR が実行 chunk ごとに適切な WAM interface を選択し、成功率と実行効率を両立。

4. どうやって有効だと検証した？

- LIBERO、RoboTwin 2.0、実世界 manipulation 3タスクで評価。 - 実世界平均成功率 88.3% (最強 baseline 76.7%)。 - WorldArena で action-conditioned world modeling の全3タスク首位。 - AC-WM co-training が全 action interface の action generation に寄与することを確認。 - PAIR が OOD 成功率を 63.3% から 76.7% へ向上。

5. 議論はある？

- 要旨からは不明。 - 限界や失敗事例、計算コスト、専門家の解釈性などに関する議論は記載なし。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究: WorldArena、LIBERO、RoboTwin 2.0。 - 関連手法: World Models (WMs)、World-Action Models (WAMs)、diffusion Transformers、mixture-of-experts。 - 同分野の定番: action-conditioned world modeling、embodied trajectory learning。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jingbo Xu, Jianjie Fang, Zhuohang Li, Zihao Song, Zhaolu Wang, Xvyuan Liu, Xin Zhang, Haisheng Su, Yinzhou Tang, Chen Gao, Wei Wu, Yong Li

分類: cs.RO, cs.AI, cs.CV, cs.LG

原文アブストラクト

World models (WMs) and world-action models (WAMs) focus on future world prediction and executable action generation, respectively. Although these models learn shared physical dynamics and interaction semantics from embodied trajectories, they are typically trained in isolation, which restricts knowledge reuse between prediction and control. The central challenge is therefore to develop a unified learning framework that shares these dynamics while preserving the distinct modeling capabilities required by each paradigm. We propose UniW(A)M, a mixture-of-experts world-(action) model built upon diffusion Transformers that unifies action-conditioned world modeling and diverse WAM variants. Shared experts capture common dynamics, while atomic capability experts are reused across interfaces so that each interface keeps its own conditional pathway. At deployment, a plug-in adaptive interface router (PAIR) learns from a small subset of target-task chunk scenarios to select a suitable WAM interface for each execution chunk, balancing task success and execution efficiency while keeping the backbone frozen. We evaluate UniW(A)M on LIBERO, RoboTwin 2.0, and three real-world manipulation tasks, where it achieves 88.3% average real-world success versus 76.7% for the strongest baseline. On WorldArena, it leads action-conditioned world modeling on all three tasks. AC-WM co-training contributes to action generation on every action interface and PAIR raises OOD success from 63.3% to 76.7%.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI