GaussianDream++: ロボット操作のための効率的な3Dガウス世界モデリング

GaussianDream++は、ロボット操作のためのVision-Language-Action (VLA)ポリシーに、3D世界モデリングの監視を統合する手法を提案する。訓練時のみに、VLAバックボーンにWorld State TokensとWorld Prediction Tokensを挿入し、World Representation Headがこれらのトークンを共有のGaussianプリミティブ上のCurrent WorldとFuture Predictionにデコードする。推論時には、ヘッドやレンダラー、補助目的、VGGT/TGEパスを除去し、20個のワールドトークンのみを残すことで、オンラインのGaussianデコードやロールアウトなしに効率的な閉ループ制御を実現する。

先行研究のGaussianDreamは、訓練時の現在のGaussian再構成と未来のGaussian予測が効果的な3D監視を提供することを示したが、高密度なVGGT/TGEベースのプレフィックスが状態・ダイナミクス・行動条件付け情報を同時に担い、計算コストが高い。GaussianDream++は、ポリシーにネイティブなコンパクトな拡張であり、トークンを直接VLAバックボーンに挿入することで、推論時のオーバーヘッドを大幅に削減し、性能を向上させる。

手法の肝は、VLAバックボーンにWorld State TokensとWorld Prediction Tokensを挿入し、訓練時のみにWorld Representation Headでデコードすること。静的・動的因子分解により、永続的な構造を保持し、残差運動を相互作用関連領域に集中させる。推論時には、ヘッド、レンダラー、補助目的、VGGT/TGEパスを除去し、20個のワールドトークンのみを残すことで、オンラインのGaussianデコードやロールアウトを不要にする。

LIBEROで98.6%、LIBERO-Plusで87.8%の成功率を達成し、カメラとレイアウトのシフトでも明確な改善を示した。実ロボット実験では、再現したπ0.5と比較して平均成功率を29.2%から52.5%に向上させ、効率的な閉ループ制御を維持した。

要旨からは、提案手法の限界や潜在的な欠点についての議論は不明。ただし、推論時にワールドトークンのみを使用するため、モデルの解釈可能性や、複雑な動的シーンでの予測精度などが議論の対象となる可能性がある。

要旨で参照されているGaussianDream、VGGT、TGE、π0.5、およびVLAポリシー関連の研究。具体的には、GaussianDreamの論文、VGGT（3D再構成のためのモデル）、TGE（トークン生成？）、π0.5（VLAポリシー）などが挙げられる。