VLA2026/8/25arXiv:2608.24714

GaussianWAM: 3Dガウス場から世界行動モデルへの幾何学と意味の蒸留

GaussianWAM: Distilling Geometry and Semantics from 3D Gaussian Fields into World-Action Models

多視点観測から3Dガウス場を介して幾何・意味情報を世界行動モデルに蒸留し、ロボット操作の視覚予測と行動生成を強化する手法を提案。

詳しい要約

1. どんなもの？

GaussianWAMは、ロボット操作のためのWorld-Action Models (WAMs)の表現を強化するトレーニング時フレームワークである。3D Gaussian fieldを介して、幾何学的・意味的監督をWAMの現在の観察表現に蒸留する。トレーニング後は追加モジュールなしで元のWAM推論パスを維持する。

2. 先行研究と比べてどこがすごい？

従来のWAMはビデオダイナミクスを表現学習信号として使用するが、そのビデオ潜在表現は視覚予測に最適化されており、クロスビュー幾何構造や空間的に局在化したオブジェクト関連セマンティクスを明示的に保持するようには設計されていない。GaussianWAMは、3D Gaussian fieldを用いてこれらの信号を組織化し、蒸留することで、表現に幾何学とセマンティクスを注入する点が新しい。

3. 技術・手法の肝は？

同期マルチビュー観察から、凍結された幾何学・ビジョン基盤モデルが深度、カメラパラメータ、高密度セマンティック特徴を提供する。GaussianWAMはこれらの異種信号を共有Gaussianプリミティブにバインドし、空間的に整列したセマンティック、深度、カバレッジターゲットをレンダリングし、WAMの現在の観察表現に蒸留する。トレーニング後、教師モデル、Gaussianコンポーネント、補助予測ヘッドはすべて除去される。

4. どうやって有効だと検証した？

LIBERO-PlusでFastWAMを52.05%から71.29%に、Cosmos Policyを71.52%から77.30%に改善した。直接のCLIPとVGGT蒸留で69.37%のベースラインを確立し、Gaussian field統合で71.29%に向上した。標準LIBEROでも性能が向上し、RoboTwinと実世界操作で正の転移傾向を示した。

5. 議論はある？

要旨からは、Gaussian field統合の利点は示されたが、計算コストやトレーニング時間への影響、異なるWAMアーキテクチャへの一般性、実世界でのスケーラビリティなどについては議論されていない。また、蒸留のための教師モデルの選択や、Gaussian fieldの表現力の限界についても不明である。

6. 次に読むべき論文は？

要旨で参照されているFastWAM、Cosmos Policy、CLIP、VGGT、LIBERO、RoboTwinに関連する論文が挙げられる。具体的には、FastWAMの元論文、Cosmos Policyの元論文、CLIPの元論文、VGGTの元論文、LIBEROベンチマークの論文、RoboTwinの論文などが次に読むべきである。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zijian Zhang, Yuqing Jiang, Weitao Zhou, Minglei Li, Jinhao Zhang, Yao Mu, Xiaofan Li, Hao Zhao, Haibao Yu

分類: cs.RO

原文アブストラクト

World-Action Models (WAMs) jointly learn future visual prediction and action generation, using video dynamics as a representation-learning signal for robotic manipulation. However, their video latents are primarily optimized for visual prediction and are not explicitly encouraged to preserve cross-view geometric structure or spatially localized, object-relevant semantics. We propose \textbf{GaussianWAM}, a training-time representation-enhancement framework that organizes geometric and semantic supervision through a 3D Gaussian field. Given synchronized multi-view observations, frozen geometry and vision foundation models provide depth, camera parameters, and dense semantic features. GaussianWAM binds these heterogeneous signals to shared Gaussian primitives and renders spatially aligned semantic, depth, and coverage targets, which are distilled into the current-observation representations of the WAM. All teacher models, Gaussian components, and auxiliary prediction heads are removed after training, leaving the original WAM inference path without additional modules or forward computation. On LIBERO-Plus, GaussianWAM improves FastWAM from 52.05\% to 71.29\% and Cosmos Policy from 71.52\% to 77.30\%. Direct CLIP and VGGT distillation already establishes a strong FastWAM baseline of 69.37\%, while Gaussian-field unification further improves it to 71.29\%, supporting the benefit of spatially organizing heterogeneous teacher signals. GaussianWAM also improves performance on standard LIBERO and shows positive transfer trends on RoboTwin and real-world manipulation. These results suggest that training-time Gaussian distillation provides a practical way to inject geometry- and semantics-related supervision into WAM representations without changing their deployment architecture.

arXivで原文を読む →arXiv概要ページ