V-Link: アクションDiTにおける失われた視覚表現の回復による視覚-言語-行動モデルの強化

V-Linkは、Vision-Language-Action (VLA)モデルにおけるAction DiT（Diffusion Transformer）の視覚表現の喪失問題を解決する手法。VLAモデルは視覚・言語・連続行動制御を統合するが、Action expertがVLM特徴の3D幾何・2D意味情報に十分アクセスできないという限界を指摘し、VLからAへの特徴転送時に視覚表現を明示的に回復する。具体的には、VLM内に相補的なSpatial QueryとSemantic Queryを学習し、非対称な経路でAction DiTに注入する。Semantic Queryは元のVLM画像トークンを補完し、Spatial Queryは空間的に接地した行動生成のための幾何条件付けを提供する。

先行研究のVLAモデル（例：GR00T N1.6）は、VLM特徴を直接Action DiTに転送するが、アクションエキスパートが3D幾何・2D意味情報を十分に利用できないというアクセシビリティギャップがある。V-Linkはこのギャップを明示的に埋める点で新規。既存手法が視覚表現の喪失を暗黙に扱うのに対し、V-Linkはクエリベースの明示的な回復機構を導入し、空間・意味の両面から視覚情報を補完する。

手法の核は、VLM内に学習可能なSpatial QueryとSemantic Queryを導入し、Action DiTに非対称な経路で注入すること。Semantic QueryはVLMの画像トークンを補完する追加の意味表現、Spatial Queryは行動生成のための幾何学的条件付けを提供する。これにより、Action DiTはVLMの豊かな視覚特徴にアクセスでき、細かい操作タスクの知覚的接地が強化される。

検証は、シミュレーション環境LIBERO、LIBERO-Plus、RoboTwin 2.0と実機AGIBOT A3 Ultraで実施。ベースモデルGR00T N1.6と比較し、平均成功率がLIBEROで+1.9%、LIBERO-Plusで+31.2%、RoboTwin 2.0で+18.8%向上。実機のヒューマノイドタスク2種では+20%と+24%の改善を達成。

要旨からは、V-Linkの有効性は示されたが、計算コストや追加パラメータの増加、他のVLAアーキテクチャへの一般化、実機での多様なタスクへの適用可能性などは議論されていない。また、Spatial QueryとSemantic Queryの設計の詳細や、非対称経路の理論的根拠も要旨からは不明。

要旨で参照されているベースモデルはGR00T N1.6であり、関連手法としてVLAモデル一般（例：RT-2、OpenVLA）やAction DiT、VLMの視覚表現を活用する手法が挙げられる。次に読むべきは、GR00T N1.6の論文、またはVLAモデルのサーベイ論文。