GaussVLA：幾何認識型空間推論を備えた視覚言語行動モデル

GaussVLAは、Vision-Language-Action (VLA)モデルの空間推論能力を向上させるための新しいモデルである。従来のVLAモデルは視覚観測を2Dパッチトークンとしてエンコードし、幾何学的構造を持たないため、空間的な推論が限られていた。GaussVLAは、Mambaベースのアーキテクチャに、Gaussian Spatial Tokenizer (GST)とDepth-Aware Chain-of-Thought (DA-CoT)という2つのモジュールを導入する。GSTは凍結されたセマンティック特徴と深度特徴をコンパクトな3D Gaussianトークンに変換し、学習されたクエリで幾何学的に重要な領域をプールする。DA-CoTは、言語とフロー時間の条件付けの下で、構造化された非自己回帰的な幾何学的推論を行う。これにより、パラメータ効率を保ちながら、シミュレーションと実世界の両方で強い空間操作性能を達成する。

先行研究のVLAモデルは、2Dパッチトークンや単眼深度のピクセル値を使用しており、表面の向きや幾何学的信頼度をエンコードできず、空間推論が限定的だった。GaussVLAは、3D Gaussianトークンを用いることで、幾何学的構造を明示的に表現し、深度情報をよりリッチに活用する。また、DA-CoTにより、言語とフロー時間の条件付けの下で構造化された推論を行う点が新しい。さらに、パラメータ効率が高く、SpatialVLAと比較して平均成功率で19.7%の相対改善を達成しつつ、パラメータ数が大幅に少ない。

GaussVLAはMambaベースのVLAモデルで、2つの主要モジュールを持つ。GSTは、凍結されたセマンティック特徴と深度特徴を入力とし、それらを3D Gaussianトークンに変換する。具体的には、特徴を3D空間にリフトし、ガウス分布として表現することで、コンパクトで幾何学的に意味のあるトークンを生成する。学習されたクエリを用いて、幾何学的に重要な領域をプールする。DA-CoTは、言語とフロー時間の条件付けの下で、非自己回帰的なチェーン・オブ・ソートを行う。これにより、アクション予測の前に構造化された幾何学的推論を実行する。

シミュレーションと実世界の両方で評価された。シミュレーションではLIBEROベンチマークを使用し、平均成功率93.5%、Spatialスイートで100.0%の成功率を達成した。パラメータ数は200Mで、SpatialVLAと比較して平均成功率で19.7%の相対改善を示した。実世界での評価も行われたが、詳細は要旨からは不明。

要旨からは、GaussVLAの限界や議論についての詳細は不明。ただし、パラメータ効率と性能のトレードオフ、3D Gaussianトークンの表現力、DA-CoTの推論プロセスなどについてさらなる分析が必要かもしれない。また、実世界での汎化性能や、他のタスクへの適用可能性については言及されていない。

要旨で参照されているSpatialVLAが比較対象として挙げられている。また、VLAモデルの一般的な研究として、Vision-Language-Actionモデルの基盤となる研究（例えば、RT-2やPaLM-Eなど）が関連する。さらに、3D Gaussian表現を用いた研究や、Mambaベースのモデルも関連する。