日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
VLA/蒸留arXiv:2608.22364

WAM-OPD: ワールドアクションモデルのためのオンポリシー蒸留

WAM-OPD: On-Policy Distillation for World Action Models

シェア:XThreadsFacebookLINEはてブBluesky

ビデオ生成とロボット動作生成を統合したワールドアクションモデル(WAM)の蒸留後性能低下を、オンポリシー蒸留で修復する手法を提案。学生モデルが環境で行動し、教師モデルがその履歴に基づいてビデオと動作のターゲットを提供することで、タスク成功率が大幅に向上した。

詳しい要約

1. どんなもの?

WAM-OPDは、ビデオ優先のWorld Action Model (WAM)に対する、デプロイメント整合的なポストトレーニング手法。学生モデルが環境で行動し履歴分布を決定し、凍結した教師モデルがその履歴に基づいてビデオとアクションのターゲットをラベル付けする。学生のアクションブランチは、デプロイ時と同様に自身が生成したビデオプランに基づいて訓練される。共有バックボーンの軽量アダプタを、ビデオとアクションの損失とアクションフローマッチング正則化で更新する。

2. 先行研究と比べてどこがすごい?

従来の蒸留では、加速された学生がタスク能力を失い、オフラインデータで表現が不十分な状態に遭遇する問題があった。WAM-OPDは、スパース報酬の強化学習を必要とせずに、オンポリシー蒸留によってこの問題を修復する点が新しい。デプロイメント整合的な設定で、学生自身が生成したビデオプランに基づいてアクションブランチを訓練することで、訓練とデプロイの分布の不一致を軽減する。

3. 技術・手法の肝は?

手法の肝は、オンポリシー蒸留の枠組み。学生が環境で行動して履歴を生成し、教師がその履歴に対してビデオとアクションのターゲットを提供する。学生のアクションブランチは、自身が生成したビデオプランに基づいて訓練される(デプロイ時と同様)。損失は、ビデオとアクションの損失に加え、アクションフローマッチング正則化を組み合わせ、共有バックボーンの軽量アダプタのみを更新する。

4. どうやって有効だと検証した?

RoboTwin 2.0の2つのタスクで予備実験を実施。HANDOVER MICでは成功率が0.0%から58.3%に、PUT OBJECT CABINETでは16.7%から33.3%に改善した。タスク固有の結果であり、広範な一般化の証拠ではなく、初期の能力実証としている。

5. 議論はある?

結果はタスク固有であり、広範な一般化を示すものではないと著者らは注意を促している。しかし、学生誘導の履歴に対する高密度な教師監視が、ビデオ優先WAMの有望なポストトレーニングインターフェースであることを示唆している。要旨からは、他のタスクや環境での性能、教師モデルのサイズや計算コスト、収束性などの詳細は不明。

6. 次に読むべき論文は?

要旨で参照されているのはRoboTwin 2.0とFlash-WAM。関連手法として、World Action Models (WAMs)、オンポリシー蒸留、フローマッチング、ビデオ予測とロボット行動生成の結合モデルに関する研究が挙げられる。具体的には、RoboTwin 2.0の論文や、Flash-WAMの元論文、フローマッチングの基礎論文(Flow Matching for Generative Modeling)などが次に読むべき候補。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Liuhaichen Yang, Zhuang Jiang, Chenchao Sheng, Zezhi Tang

分類: cs.AI, cs.RO

原文アブストラクト

World action models (WAMs) couple visual future prediction with robot action generation, but accelerated students can lose task capabilities during distillation and later encounter states that are poorly represented by offline data. We study whether on-policy distillation (OPD) can repair such a student without requiring sparse-reward reinforcement learning. We introduce WAM-OPD, a deployment-consistent post-training recipe for a video-first WAM. The student acts in the environment and therefore determines the history distribution. A frozen teacher labels those student histories with coherent video and action targets, while the student action branch is trained under its own generated video plan, as it is at deployment. Joint video and action losses update lightweight adapters in the shared backbone, together with an action flow-matching regularizer. In preliminary RoboTwin 2.0 studies on two tasks, the released one-video/one-action-step Flash-WAM improves from 0.0% to 58.3% success on HANDOVER MIC, and from 16.7% to 33.3% on PUT OBJECT CABINET. These task-specific results are an initial capability proof rather than evidence of broad or uniform generalization. They nevertheless suggest that dense teacher supervision on student-induced histories is a promising post-training interface for video-first WAMs.