動画理解2026/9/2arXiv:2609.02780v1

ShallowStream: 浅い層で索引し、深い層で答えるストリーミング動画理解

ShallowStream: Index Shallow then Answer Deep for Streaming Video Understanding

動画ストリーミング理解の計算コストを削減するため、MLLMの浅い層でフレームの索引を構築し、質問時には浅い層の注意スコアで関連フレームを選択して深い層で回答するフレームワークを提案した。

詳しい要約

1. どんなもの？

ShallowStreamは、ストリーミング動画理解のための新しいフレームワークである。MLLMの浅い層を利用してフレームのエンコーディングと検索インデックスの構築を同時に行い、ストリーム処理中は浅い層のKV cacheを用いた常時オンの軽量インデックスを維持する。クエリ時には、浅い層のattention scoresを用いてコンテキストフレームをスコアリングし、多様性を考慮した選択戦略で正確かつ包括的なエビデンスを取得する。これにより、既存の最強のストリーミング手法と同等の性能を達成しつつ、フレームあたりのprefillレイテンシと10秒のエンドツーエンドレイテンシをそれぞれ最大52.1倍、11.9倍削減する。

2. 先行研究と比べてどこがすごい？

既存のストリーミング動画理解手法は、visual token pruning、token merging、quantization、on-demand frame retrieval、context offloadingなどでオーバーヘッド削減を試みているが、モデルの深さの次元を考慮していない。そのため、フレームが来るたびに全深さのMLLM prefillを繰り返し実行するため、計算コストが高く、KV cacheがprefillの深さに比例して増大する。ShallowStreamは、浅い層をインデックス構築に活用することで、この問題を回避し、深さの次元での計算削減を実現している点が新しい。

3. 技術・手法の肝は？

ShallowStreamの核心は、MLLMの浅い層をフレームエンコーディングと検索インデックス構築に同時に利用することである。ストリーム処理中は、浅い層のKV cacheを用いて常時オンの軽量インデックスを維持する。クエリ時には、浅い層で生成されるattention scoresを使ってコンテキストフレームをスコアリングし、多様性を考慮した選択戦略（diversity-aware selection strategy）で正確かつ包括的なエビデンスを取得する。これにより、深い層のprefillを省略し、計算コストを削減する。

4. どうやって有効だと検証した？

要旨からは、ShallowStreamが既存の最強のストリーミング手法と同等の性能を達成し、フレームあたりのprefillレイテンシと10秒のエンドツーエンドレイテンシをそれぞれ最大52.1倍、11.9倍削減したと報告されている。具体的なデータセットや評価指標は要旨に明記されていない。

5. 議論はある？

要旨からは、ShallowStreamの性能が既存手法と同等である一方で、レイテンシを大幅に削減できることが示されている。しかし、浅い層のみを使用することで、深い層で得られる高次の意味理解が失われる可能性や、多様性を考慮した選択戦略の詳細な効果、また、異なるタスクやデータセットでの汎用性については要旨からは不明である。

6. 次に読むべき論文は？

要旨で参照されている関連研究として、visual token pruning、token merging、quantization、on-demand frame retrieval、context offloadingなどの手法が挙げられる。次に読むべき論文としては、これらの手法を提案した論文や、ストリーミング動画理解のためのMLLMの効率化に関する最近の研究が考えられる。具体的な論文名は要旨に記載がないため、同分野の定番として、例えば「VideoLLM」や「Streaming VideoQA」などの関連研究を参照するとよい。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jitai Hao, Ke Yang, Qiang Huang, Jun Yu

分類: cs.CV, cs.CL

原文アブストラクト

Streaming video understanding is a critical capability for real-world applications, including embodied intelligence, autonomous driving, industrial monitoring, surveillance and early warning, and wearable assistants. However, processing continuous video streams with multimodal large language models (MLLMs) is computationally expensive. Existing efforts have explored reducing streaming overhead through visual token pruning, token merging, quantization, on-demand frame retrieval, and context offloading. However, most existing methods overlook the dimension of model depth. Repeatedly executing full-depth MLLM prefill over incoming frames is prohibitively expensive, incurring substantial computational overhead and causing the KV cache to grow at a rate directly proportional to the prefill depth. To address these challenges, we propose ShallowStream, a novel framework that leverages the shallow layers of an MLLM to simultaneously perform frame encoding and retrieval index building. During stream processing, ShallowStream maintains an always-on lightweight index using the KV cache of shallow layers. During query-time answering, we leverage the attention scores generated by the shallow layers to score context frames and employ a diversity-aware selection strategy to retrieve precise and comprehensive evidence. ShallowStream achieves performance on par with the strongest existing streaming methods, while reducing per-frame prefill latency and 10-second end-to-end latency by up to 52.1x and 11.9x, respectively. Our code is available at https://github.com/CURRENTF/ShallowStream.

arXivで原文を読む →arXiv概要ページ