VLA2026/9/12arXiv:2609.13812

GeomVLA: 3D空間でシーン・運動・行動を統合するVLAモデル

GeomVLA: Unifying Scene, Motion, and Action in 3D

深度とカメラキャリブレーションでVLM特徴を3Dシーントークンに持ち上げ、シーン点の将来運動を潜在表現として予測し、それを条件に3Dフロー型行動生成を行うVLAモデルを提案。CALVINなどで高性能を示した。

詳しい要約

1. どんなもの？

GeomVLAは、Vision-Language-Action (VLA) モデルであり、知覚・潜在的なシーン運動予測・行動生成を、ロボット中心の共有3D座標系内で統合する。事前学習済みVLM特徴をdepthとcamera calibrationを用いて空間的に接地した3D scene tokensに持ち上げ、VLM事前学習の意味表現を保持する。さらに3D Scene Trajectory Denoiserを導入し、シーン点が3Dでどのように動くかの潜在表現を学習する。予測軌道を開ループ計画として実行するのではなく、軌道denoiserから中間motion tokensを抽出し、geometry-aware attentionを通じて3D flow-based action denoiserを条件付ける。

2. 先行研究と比べてどこがすごい？

CALVINでstate-of-the-art性能、LIBEROとRoboTwin2.0で競争力のある性能、実世界マニピュレーション設定でロボット行動事前学習なしに強いベースラインを上回る。広範なアブレーションにより、未来運動推論だけでは不十分であり、主な利点は知覚から行動までのパイプライン全体でシーン表現・運動予測・ロボット行動間の幾何学的整合性を維持することに関連することが示された。

3. 技術・手法の肝は？

事前学習済みVLM特徴をdepthとcamera calibrationで3D scene tokensに持ち上げ、意味表現を保持する。3D Scene Trajectory Denoiserはタスク条件付きモジュールで、シーン点の3D運動の潜在表現を学習する。予測軌道を開ループで実行せず、中間motion tokensを抽出し、geometry-aware attentionで3D flow-based action denoiserを条件付ける。これにより知覚・運動予測・行動生成をロボット中心3D座標系で統合する。

4. どうやって有効だと検証した？

CALVINでstate-of-the-art、LIBEROとRoboTwin2.0で競争力のある性能、実世界マニピュレーションでロボット行動事前学習なしに強いベースラインを上回ることで検証。広範なアブレーションにより、未来運動推論だけでは不十分で、幾何学的整合性の維持が主な利得に関連することを示した。

5. 議論はある？

アブレーションから、未来運動推論のみでは不十分であり、知覚から行動までのパイプライン全体でシーン表現・運動予測・ロボット行動間の幾何学的整合性を維持することが主要な性能向上に関連することが議論されている。その他の議論や限界は要旨からは不明。

6. 次に読むべき論文は？

CALVIN、LIBERO、RoboTwin2.0に関する研究、およびVision-Language-Action (VLA) モデル、3D flow-based action denoiser、3D Scene Trajectory Denoiserに関連する手法。要旨で参照/比較されている具体的な論文名は不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ziyin Xiong, Nikos Gkanatsios, Moritz Reuss, Katerina Fragkiadaki

分類: cs.RO

原文アブストラクト

We present GeomVLA, a Vision-Language-Action (VLA) model that unifies perception, latent scene motion prediction, and action generation within a shared robot-centric 3D coordinate frame. Our approach lifts pretrained VLM features into spatially grounded 3D scene tokens using depth and camera calibration, while retaining the semantic representations learned during VLM pretraining. We further introduce a 3D Scene Trajectory Denoiser, a task-conditioned module that learns a latent representation of how scene points are expected to move in 3D. Rather than executing the predicted trajectory as an open-loop plan, GeomVLA extracts intermediate motion tokens from the trajectory denoiser and uses them to condition a 3D flow-based action denoiser through geometry-aware attention. GeomVLA achieves state-of-the-art performance on CALVIN, competitive performance on LIBERO and RoboTwin2.0, and outperforms strong baselines in real-world manipulation settings without robot-action pretraining. Extensive ablations show that future-motion reasoning alone is insufficient: the primary gains are associated with maintaining geometric consistency among scene representation, motion prediction, and robot actions throughout the perception-to-action pipeline.

arXivで原文を読む →arXiv概要ページ