VLA/操作2026/8/5arXiv:2608.05042v1

BridgeVLA++: データ効率的で汎化性が高く、メモリ拡張された3D操作のための視覚-言語-行動フレームワーク

BridgeVLA++: A Data-Efficient, Generalizable, and Memory-Augmented Vision-Language-Action Framework for 3D Manipulation

事前学習済み視覚言語モデルを活用した3Dロボット操作フレームワークBridgeVLAを拡張し、空間的・時間的メモリを統合することで、データ効率と汎化性を保ちつつ、記憶依存の操作タスクで最先端の性能を達成した。

詳しい要約

1. どんなもの？

BridgeVLA++は、3Dロボット操作のためのデータ効率的で汎化可能なメモリ拡張型Vision-Language-Action (VLA)フレームワークである。事前学習済みのVLMを活用し、3D操作タスクを学習する。前作BridgeVLAを拡張し、空間的文脈と時間的相互作用履歴をモデル化する統合時空間メモリアーキテクチャを導入する。これにより、観測履歴を推論しつつ、データ効率と汎化能力を維持する。

2. 先行研究と比べてどこがすごい？

既存の3D VLA手法はデータ集約的であり、分布シフト下での汎化が限定的で、過去の観測の明示的なメモリが欠如している。BridgeVLA++は、BridgeVLAのデータ効率と汎化を維持しつつ、メモリ拡張を実現する点で優れている。特に、メモリ依存の操作ベンチマークでSOTAを達成し、バイマニュアル操作や実世界プラットフォームでも有効性を示す。

3. 技術・手法の肝は？

手法の肝は、BridgeVLAの設計（生の点群をマルチビュー画像に投影し、ロボットアクション生成前に中間ヒートマップを予測）に、統合時空間メモリアーキテクチャを追加することである。このメモリは、持続的な空間的文脈と時間的相互作用履歴をモデル化し、観測履歴に基づく推論を可能にする。

4. どうやって有効だと検証した？

広範な実験により、空間操作タスクでの強力な性能とロバストな汎化を示した。さらに、2つの挑戦的なメモリ依存操作ベンチマークでSOTAを達成し、バイマニュアル操作設定や追加の実世界ロボットプラットフォームでも有効性を検証した。

5. 議論はある？

要旨からは、メモリ拡張による計算コストや、メモリの容量・忘却メカニズムの詳細、またBridgeVLA++がどのようなタスクで失敗するかなどの限界は不明である。また、実世界での検証は追加プラットフォームでのみ行われており、多様な環境での汎化についてはさらなる検証が必要かもしれない。

6. 次に読むべき論文は？

要旨で参照されているのは前作のBridgeVLAである。また、関連手法として、事前学習済みVLMを利用したVLAモデル（例：RT-2、Octoなど）や、3D操作のための手法（例：PerAct、3D-VLAなど）が考えられるが、要旨に明示されていないため、具体的な論文名は不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Peiyan Li, Yuze Zhu, Yixiang Chen, Qisen Ma, Yuan Xu, Jiabing Yang, He Guan, Yan Huang, Hongtao Wu, Xiao Ma, Tao Kong, Liang Wang, Tieniu Tan

分類: cs.RO

原文アブストラクト

Leveraging pre-trained vision-language models (VLMs) to construct vision-language-action (VLA) models has emerged as a promising paradigm for 3D robot manipulation. However, existing 3D VLA methods remain data-hungry, exhibit limited generalization under distribution shifts, and lack explicit memory of past observations. These limitations hinder their application to data-scarce, open-world, and memory-dependent manipulation scenarios. Our previous work, BridgeVLA, improves data efficiency and generalization by preserving the input--output alignment of a pre-trained VLM during 3D action learning: raw point clouds are projected into multi-view images, and intermediate heatmaps are predicted before generating robot actions. In this work, we develop BridgeVLA++ by equipping BridgeVLA with a unified spatio-temporal memory architecture that models persistent spatial context and temporal interaction history. The resulting memory-augmented framework can reason over observation histories while preserving BridgeVLA's data efficiency and generalization capabilities. Extensive experiments show that our framework achieves strong performance on spatial manipulation tasks while exhibiting robust generalization. BridgeVLA++ further achieves state-of-the-art performance on two challenging memory-dependent manipulation benchmarks without sacrificing the data efficiency and generalization of the original BridgeVLA. In addition, BridgeVLA++ performs effectively in bimanual manipulation settings and is validated on an additional real-world robotic platform, demonstrating its scalability across tasks, environments, and robotic platforms. These results establish BridgeVLA++ as a unified 3D vision-language-action framework that simultaneously supports data-efficient learning, robust generalization, and effective memory-aware robot manipulation. Project website: https://bridgevla-plus.github.io/.

arXivで原文を読む →arXiv概要ページ

← 論文一覧