日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2611.23228

Spool: ハイブリッド視覚言語モデルのための低遅延ストリーミング推論

Spool: Low-Latency Streaming Inference for Hybrid Vision-Language Models

シェア:XThreadsFacebookLINEはてブBluesky

再帰層の状態更新が入力依存係数を持つアフィン変換である点を利用し、フレームごとの状態変換をキャッシュ・合成することで、過去フレームを再実行せずにスライディングウィンドウ推論を高速化する学習不要のフレームワーク。

詳しい要約

1. どんなもの?

- 対象: 直近の映像区間(例: 過去2分)に対する質問応答を低遅延で行うstreaming inference設定。 - 目的: hybrid VLM(attentionとGated DeltaNet (GDN)等のlinear recurrent layerを交互に持つモデル)でsliding windowを安価に維持すること。 - 提案: Spoolと呼ぶtraining-freeフレームワーク。per-frameのstate transformationをキャッシュし、window前進時に合成して古いフレームをstateから除去する。 - 応用先: visual accessibility agentsやroboticsなど、promptな応答が求められる用途。

2. 先行研究と比べてどこがすごい?

- 課題: recurrent layerは過去全フレームを共有stateに畳み込むため、古いフレームの失効には通常window全体をモデルに再投入する必要があり高コスト。 - 提案の利点: フレーム再実行(backboneのreplay)なしで失効フレームを各recurrent layerのstateから除去でき、training不要。 - 定量比較: 5つのopen-source hybrid VLM×4つのvideo reasoning benchmarkの計20テスト全てでp95 time-to-first-tokenが最小。 - 効果: 直近のvLLMベースライン2種の速い方に対しgeometric meanで6.6×低減、精度は平均2.3 percentage point改善。

3. 技術・手法の肝は?

- 観察: recurrent updateがstateに対してaffineで、係数が入力依存であるため、各フレームの効果を変換として表現でき、変換の合成がassociativeに可能。 - 仕組み: per-frame state transformationをキャッシュし、window前進時に効率的に合成。replayなしで失効フレームを各recurrent layerのstateから除去。 - 正確性: 除去は各layer内ではexact。ただしattentionのkey-value evictionと同様、失効フレームは前段layerが計算したcached inputs経由でresidual influenceを残し得る。 - 実装: 低いcaching/composition overheadを実現する専用data structureとGPU kernelsを設計。

4. どうやって有効だと検証した?

- モデル: 5つのopen-source hybrid VLMsで評価。 - ベンチマーク: 4つのvideo reasoning benchmarks、計20のmodel-benchmarkテスト。 - 指標: p95 time-to-first-tokenとaccuracyを測定。 - 結果: 全20テストでp95 time-to-first-tokenが最小、vLLMベースライン2種の速い方比でgeometric mean 6.6×低減、accuracyは平均2.3 percentage point向上。

5. 議論はある?

- 層内の除去はexactだが、attentionのkey-value evictionと同様に、失効フレームがearlier layersのcached inputsを通じてresidual influenceを残し得る点が限界として述べられている。 - その他の限界・議論(計算量の詳細、メモリ使用量、他モデルへの一般性など)は要旨からは不明。

6. 次に読むべき論文は?

- Gated DeltaNet (GDN): 本手法が対象とするlinear recurrent layer。 - vLLM: 比較対象のserving基盤(2つのrecent baselines)。 - key-value eviction(attentionにおけるKV cache eviction): 類似の失効機構として比較・言及。 - hybrid VLMおよびvideo reasoning benchmarksの各論文(具体名は要旨からは不明)。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Rui Ning, Om Chabra, Hari Balakrishnan

分類: cs.CV, cs.LG

原文アブストラクト

Applications such as visual accessibility agents and robotics require answering questions about recent video content promptly, over a bounded window of past frames (e.g., the last two minutes). Hybrid vision-language models (VLMs), which interleave attention with linear recurrent layers such as Gated DeltaNet (GDN), are attractive for this setting, but maintaining a sliding window is expensive. The reason is that recurrent layers combine all past frames into a shared state, so expiring old frames normally requires re-running the entire window through the model. We observe that the recurrent update is affine in the state with input-dependent coefficients, so the effect of each frame can be captured as a transformation that composes associatively. We present Spool, a training-free framework that caches per-frame state transformations and composes them efficiently as the window advances, removing expired frames from each recurrent layer's state without replaying frames through the backbone. Removal is exact within each layer; as with key-value eviction in attention, expired frames can retain residual influence through the cached inputs computed by earlier layers. We design a dedicated data structure and GPU kernels to achieve low caching and composition overhead. Across five open-source hybrid VLMs and four video reasoning benchmarks, Spool achieves the lowest p95 time-to-first-token in all 20 model-benchmark tests, reducing it by a geometric mean of $6.6\times$ over the faster of two recent vLLM baselines, while improving accuracy by 2.3 percentage points on average.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  4. 4SoftBank主導、Agile Robotsが5億ドル調達 NVIDIAと日立も参加資金調達
  5. 5パナソニックHD、「現場起点のPhysical AI」の研究開発加速を発表研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI