VLA/長期計画2026/8/5arXiv:2608.04765v1

長期的計画のための明示的言語メモリを持つ視覚言語行動モデル

Explicit Language Memory for Long-Horizon Planning in Vision-Language-Action Models

長期的なタスクにおけるVLAモデルの課題を解決するため、高レベルVLMと低レベルVLAを分離し、明示的な言語メモリモジュールを導入して時間的一貫性と誤り訂正を実現する階層的アーキテクチャを提案した。

詳しい要約

1. どんなもの？

本論文は、Vision-Language-Action (VLA)モデルによる長期的なロボットタスクの計画と実行を改善するために、明示的な言語メモリモジュールを備えた階層的アーキテクチャを提案している。高レベルのVLMが視覚質問応答トレーニングを通じて意味的推論を行い、低レベルのVLAがサブタスク命令と視覚観測に基づいて連続制御を実行する。高レベルVLMは、前のメモリを文脈のアンカーとして言語メモリとサブタスク命令を再帰的に更新し、長期的な時間的追跡と動的修正を可能にする。

2. 先行研究と比べてどこがすごい？

既存のVLAモデルは、長期的タスクにおいて、まばらな専門家デモによるクロスタスクの構成的一般化の制限、非マルコフ性による時間的一貫性の欠如、閉ループ誤差修正の限界、エンドツーエンドのアクション微調整によるVLMバックボーンの高レベル意味表現の弱体化などの課題がある。本手法は、明示的な言語メモリを導入し、離散的な時間観測を時間的論理を持つ一貫したテキストメモリシーケンスに変換することで、これらの問題に対処する。

3. 技術・手法の肝は？

手法の核心は、高レベルVLMと低レベルVLAの階層的分離と、明示的な言語メモリモジュールの設計にある。高レベルVLMは視覚質問応答パラダイムで訓練され、言語メモリとサブタスク命令を再帰的に更新する。低レベルVLAはサブタスク命令と視覚観測に基づいて正確な連続制御を実行する。これにより、長期的な時間的追跡と動的修正が可能になる。

4. どうやって有効だと検証した？

複数のシミュレーション環境と実ロボットプラットフォームでのsim-to-real実験を通じて評価された。結果は、明示的な言語メモリが複雑な長期的タスクにおけるVLAモデルの成功率と堅牢性を向上させ、解釈可能な意味的説明を提供することを示した。

5. 議論はある？

要旨からは、提案手法の限界や潜在的な欠点についての議論は不明である。ただし、言語メモリの更新が高レベルVLMの推論に依存するため、VLMの誤りがメモリに蓄積される可能性や、テキストメモリの表現が複雑なタスクで十分かどうかなどの懸念が考えられるが、要旨には明記されていない。

6. 次に読むべき論文は？

要旨で参照されている関連研究として、Vision-Language-Action (VLA)モデル、Vision-Language Model (VLM)、Visual Question Answering (VQA)トレーニングパラダイム、Sim-to-Real転送に関する研究が挙げられる。具体的な論文名は不明だが、これらの分野の定番論文（例：RT-2, PaLM-E, CLIPなど）を読むことが推奨される。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Houze Xu, Jizhong Li, Ziyi Ye

分類: cs.RO, cs.AI, cs.CV

原文アブストラクト

Vision-language-action (VLA) models provide a unified paradigm for connecting visual perception, language understanding, and robotic control. However, existing VLA models still face major challenges in long-horizon tasks: sparse expert demonstrations constrain cross-task compositional generalization; the non-Markovian nature of long-horizon tasks makes it difficult for policies conditioned only on current observations to maintain temporal consistency; limited closed-loop error correction allows execution errors to accumulate; and end-to-end action fine-tuning may weaken the high-level semantic representations of vision-language model (VLM) backbones. To address these issues, we propose a hierarchical long-horizon VLA architecture with an explicit language-memory module. The central idea is to convert discrete temporal observations into a coherent textual memory sequence with temporal logic. The system is decoupled into a high-level VLM and a low-level VLA: the high-level VLM performs semantic reasoning through a visual question answering training paradigm, while the low-level VLA executes precise continuous control conditioned on subtask instructions and visual observations. The high-level VLM recursively updates both language memory and subtask instructions using the previous memory as a contextual anchor, enabling persistent temporal tracking and dynamic correction during long-horizon execution. We evaluate the proposed method in multiple simulation environments and conduct sim-to-real experiments on a real robotic platform. The results demonstrate that explicit language memory improves the success rate and robustness of VLA models on complex long-horizon tasks while providing an interpretable semantic account of the decision process.

arXivで原文を読む →arXiv概要ページ

← 論文一覧