VLA2026/10/19arXiv:2610.25874

視覚言語デルタ行動：ロボット操作のためのコンパクトな遷移インターフェース学習

Vision-Language-Delta-Action: Learning Compact Deltas as Actionable Transition Interfaces for Robotic Manipulation

未来状態の完全予測ではなく、世界状態の変化を表すコンパクトな「デルタ」を学習し、視覚言語理解と行動生成をつなぐインターフェースとして用いるVLA手法を提案した論文。

詳しい要約

1. どんなもの？

- ロボットマニピュレーションのための新パラダイム Vision-Language-Delta-Action (VLDA) を提案する論文。 - 観測から行動を直接生成するのではなく、タスク指定の状態変化を実現することを重視。 - 完全な未来状態予測を『コンパクトで行動可能な遷移モデリング』へ再定式化。 - 中核は Delta と呼ぶ潜在的な世界状態変化を表すコンパクト変数で、視覚言語理解と行動生成のインターフェースとして機能。 - LoongForge 上で実装し、長期的整合性・頑健性・汎化の改善を報告。

2. 先行研究と比べてどこがすごい？

- 既存の vision-language-action (VLA) は観測→行動の写像を直接学習し、意味理解と行動実行のギャップから学習負担が大きい。 - world-action models (WAMs) は未来予測で制御を改善するが、完全な未来状態をモデル化するため静的見た目や行動無関係な変化に容量を浪費。 - VLDA は完全未来予測をコンパクトな Delta に置き換え、行動に無関係な変化を抑えつつ遷移情報を活用する点が差分。 - 直接行動予測と完全未来状態モデリングの代替として actionable Delta を位置づける。

3. 技術・手法の肝は？

- コンパクトな Delta 変数で潜在的世界状態変化を捉え、視覚言語理解と行動生成のインターフェースにする。 - 統一目的関数として Local Transition Filter (LT-Filter) と Global Transition Anchor (GT-Anchor) を組み合わせて Delta を学習。 - LT-Filter はタスク関連のマニピュレーション中心の変化を捉え、静的な再構成バイアスを抑制。 - GT-Anchor は粗い未来レベルの正則化を与え、状態変化の全体方向を保持。 - Delta-Driven Action Refinement (DDAR) で Delta を行動多様体に接地し、構造化されたシードとして行動デノイジングを導く。 - LoongForge のモジュール型・分散インフラで2段階最適化を統合実行。

4. どうやって有効だと検証した？

- 実験により VLDA が長期的整合性 (long-horizon consistency)、頑健性、汎化を改善することを示す。 - actionable Delta が直接行動予測や完全未来状態モデリングの代替になり得ることを検証。 - 具体的なデータセット名・ベースライン名・評価指標は要旨からは不明。

5. 議論はある？

- 完全未来状態のモデリングが静的見た目や行動無関係変化に容量を浪費するという問題意識を提示。 - Delta を行動多様体に接地させる DDAR の設計により、遷移情報を行動生成へ構造的に注入する意義を議論。 - 長期的整合性・頑健性・汎化の改善を主張するが、限界や失敗ケースの詳細は要旨からは不明。

6. 次に読むべき論文は？

- world-action models (WAMs) および vision-language-action (VLA) の代表的研究。 - LoongForge の関連論文・ドキュメント。 - 行動デノイジングに基づく手法 (diffusion policy 系) や未来予測を用いるロボットマニピュレーション研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Lingsen Zhang, Wei Li, Jie He, Henghua Zhang, Kai Mo, Shiyong Li, Yanpeng Wang, Rui Shao

分類: cs.RO, cs.CV

原文アブストラクト

Robotic manipulation is not merely observation-to-action generation, but the realization of task-specified state changes in the physical world. Existing vision-language-action (VLA) methods directly learn observation-to-action mappings, imposing a substantial learning burden due to the gap between semantic understanding and action execution. Although world-action models (WAMs) improve control through future prediction, modeling complete future states wastes capacity on static appearance and action-irrelevant changes. We propose Vision-Language-Delta-Action (VLDA), a paradigm that reformulates full future prediction as compact actionable transition modeling. Its core is a compact Delta variable that captures latent world-state changes, serving as an interface between vision-language understanding and action generation. VLDA learns Delta through a unified objective composed of the Local Transition Filter (LT-Filter) and Global Transition Anchor (GT-Anchor). LT-Filter captures task-relevant manipulation-centric changes while suppressing static reconstruction biases. GT-Anchor provides coarse future-level regularization to preserve the overall direction of state changes. Delta-Driven Action Refinement (DDAR) further grounds Delta in the action manifold and injects it as a structured seed to guide action denoising. We implement VLDA within LoongForge, an open-source training framework for large-scale foundation and embodied models, using its modular and distributed infrastructure for unified two-stage optimization. Experiments show that VLDA improves long-horizon consistency, robustness, and generalization, validating actionable Delta as an alternative to direct action prediction and full future-state modeling.

arXivで原文を読む →arXiv概要ページ