日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
VLAarXiv:2610.22070

記憶を重みとして：ストリーミング動画の長期履歴を内部化する手法

Memory as Weights: Internalizing Long-Term History for Streaming Videos

シェア:XThreadsFacebookLINEはてブBluesky

ストリーミング動画向けVLMにおいて、過去の観測をLoRA重みに逐次統合して履歴を保持するMaLoWを提案し、大規模データセット構築とベンチマークでの性能向上を示した。

詳しい要約

1. どんなもの？

- Streaming VLM 向けの記憶フレームワーク MaLoW を提案 - 過去の観測を context に再投入せず、軽量パラメータ更新に内部化 - recurrent HyperNetwork で動画観測を固定サイズ LoRA weights に逐次統合 - 履歴は weights、現在の観測は input として分離 - 学習用に MaLoW-Instruct を構築 - 56K 動画、381K QA ペアの大規模 streaming video データセット

2. 先行研究と比べてどこがすごい？

- 既存の memory 機構は履歴を compress/retrieve/cache して input context に再導入 - 履歴と現在観測が限られた context を奪い合う問題 - MaLoW は履歴を LoRA weights に内部化し、context 競合を回避 - OVO-Bench の backward split で prior memory 手法を 3.9%〜11.8% 上回る - 複数の video backbone で確認 - latency overhead は modest - VLA にも汎化し Simpler WidowX の action success rate を 9.3% 改善

3. 技術・手法の肝は？

- recurrent HyperNetwork を中核に採用 - 入力動画観測を逐次処理し、固定サイズ LoRA weights を更新 - 全動画ストリームを再訪せず履歴を保持 - 履歴=weights、現在観測=input という分離設計 - 学習には MaLoW-Instruct を使用 - 56K 動画、381K QA ペア

4. どうやって有効だと検証した？

- OVO-Bench、StreamingBench、StreamArena で実験 - OVO-Bench backward split で prior memory 手法と比較 - 異なる video backbone で 3.9%〜11.8% の改善 - latency overhead が modest であることも確認 - VLA への汎化を Simpler WidowX で検証 - action success rate が 9.3% 向上

5. 議論はある？

- 要旨からは不明 - 限界、失敗事例、計算コストの詳細な議論は記述なし - latency overhead は modest と述べるのみ

6. 次に読むべき論文は？

- OVO-Bench - StreamingBench - StreamArena - Simpler WidowX - LoRA - HyperNetwork - streaming VLM の memory 機構に関する prior work（個別名は要旨に記載なし）

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhuoming Liu, Jinhong Lin, Lin Zhang, Yiwu Zhong, Yin Li

分類: cs.CV, cs.AI, cs.LG

原文アブストラクト

Streaming vision-language models (VLMs) must continuously integrate information from the past while remaining responsive to current observations and user queries. Existing memory mechanisms typically compress, retrieve, or cache historical observations and reintroduce them into the input context, forcing historical memory and current observations to compete for limited context. We propose MaLoW, a streaming memory framework that instead internalizes historical context into evolving lightweight parameter updates. MaLoW uses a recurrent HyperNetwork to incrementally consolidate incoming video observations into fixed-size LoRA weights, allowing historical information to be carried forward without revisiting the full video stream. In doing so, MaLoW represents history as weights, while keeping the current observation as input. To support training, we further construct MaLoW-Instruct, a large-scale streaming video dataset containing 381K question-answer pairs over 56K videos. We conduct extensive experiments to demonstrate that MaLoW achieves strong performance on OVO-Bench, StreamingBench, and StreamArena. On the backward split of OVO-Bench, MaLoW outperforms prior memory approaches by 3.9% to 11.8% across different video backbones while incurring only modest latency overhead. Beyond streaming video understanding, MaLoW also generalizes to vision-language-action models, improving the action success rate on Simpler WidowX by 9.3%.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI