VLA2026/8/26arXiv:2608.26067

StreamPI: 視覚・言語・行動モデルのためのストリーミング型マルチモーダル時間モデリング

StreamPI: Streaming Multimodal Temporal Modeling for Vision-Language-Action Models

単一フレームのVLAモデルに追加パラメータなしで時間的推論能力を付与するフレームワークを提案し、実ロボットタスクで有効性を実証した。

詳しい要約

1. どんなもの？

StreamPIは、ロボット操作のためのVision-Language-Action (VLA)モデルに、追加パラメータなしでストリーミング時系列推論能力を付与するフレームワーク。単一フレームのVLAモデル（例：pi0.5）を拡張し、過去の観測を保持しつつ、正確な空間知覚を実現する。

2. 先行研究と比べてどこがすごい？

従来の最先端VLAモデル（pi0.5など）は単一フレーム処理に限定され、過去の観測を保持できず、正確な空間知覚が困難だった。StreamPIは、追加パラメータなしで時系列推論を導入し、メモリ依存タスクと精密知覚タスクの両方で性能を向上させる点が優れている。

3. 技術・手法の肝は？

中核は「命令アンカー時系列モデリング」で、(視覚観測, 言語命令)のペアを原子時系列単位とし、ペア内では双方向注意でクロスモーダル融合、ペア間では因果注意で自己回帰ストリーミング推論を実現。言語命令がタスク実行中の永続的な意味アンカーとなる。さらに、同期トレーニングと非同期実機展開のギャップを埋めるため、ランダム間隔ストリーミングトレーニング戦略を導入。LLMバックボーンの長さ外挿能力を活用し、事前学習済みの単一フレーム重みを継承し、単一・複数フレーム推論を柔軟にサポート。

4. どうやって有効だと検証した？

実機ロボットタスク（メモリ依存および精密知覚シナリオ）とシミュレーションベンチマークLIBEROで実験を行い、多様なタスクでpi0.5を上回る性能を実証した。

5. 議論はある？

要旨からは、フレーム間隔のランダム化が実機の非同期デプロイメントに対するロバスト性を向上させることが示唆されるが、具体的な限界やトレードオフ（例：計算コスト、リアルタイム性）については言及されていない。また、提案手法が単一フレームのVLAモデルに依存しており、他のアーキテクチャへの適用可能性は不明。

6. 次に読むべき論文は？

要旨で参照されているpi0.5の論文、およびVLAモデルの基盤となるVision-Language-Actionモデル全般（例：RT-2、OpenVLA）が関連する。また、時系列推論のためのLLMの長さ外挿に関する研究も関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhe Liu, Jinghua Hou, Yuxiang Lu, Zhenya Yang, Xianzhe Fan, Junwei Luo, Junyi Li, Ruihua Han, Zhi Hou, Hengshuang Zhao

分類: cs.CV

原文アブストラクト

Vision-Language-Action (VLA) models have demonstrated effectiveness in robot manipulation, yet state-of-the-art models such as pi0.5 operate under a single-frame paradigm, limiting their ability to retain past observations and develop precise spatial perception. In this paper, we propose StreamPI, a streaming multimodal temporal modeling framework that equips single-frame VLA with temporal reasoning capability without introducing any additional parameters. One core design is instruction-anchored temporal modeling. It treats each (visual observation, language instruction) pair as an atomic temporal unit: bidirectional attention within each pair enables cross-modal fusion, while causal attention across pairs preserves autoregressive streaming inference. This ensures the language instruction serves as a persistent semantic anchor throughout task execution. To bridge the gap between synchronous training and asynchronous real-robot deployment, we introduce a andom-interval streaming training strategy: a proper inter-frame interval (e.g., every 3 frames) enables faster and smoother action execution. Beyond this, randomizing the interval further improves robustness to frame-timing perturbations, supporting asynchronous deployment in practice. Furthermore, by leveraging the length extrapolation capability of the LLM backbone, StreamPI seamlessly inherits pretrained single-frame weights and supports flexible single-frame and multi-frame inference. Experiments on real-robot tasks spanning memory-dependent and precise perception scenarios, as well as the simulation benchmark LIBERO, demonstrate that StreamPI outperforms pi0.5 across diverse tasks.

arXivで原文を読む →arXiv概要ページ