Video-LLM2026/11/3arXiv:2611.04728

SPOD：単一パス直交分解によるVideo-LLMの抑制された時間的証拠の回復

SPOD: Recovering Suppressed Temporal Evidence in Video-LLMs via Single-Pass Orthogonal Decomposition

Video-LLMの隠れ状態に既に含まれるが推論時に活用されていない時間的証拠を、再学習なしの単一フォワードパスで直交分解により抽出・強調する手法を提案。

詳しい要約

1. どんなもの？

- Video-LLM の時間的推論における temporal hallucination（scene transition 理解や event ordering など）を対象とした研究。 - 時間的証拠は Video-LLM の hidden representation 内に既に符号化されているが、標準的な推論では十分活用されていないことを示す。 - これを回復する training-free フレームワーク Single-Pass Orthogonal Decomposition (SPOD) を提案。 - 単一 forward pass 内の解析的 hidden-state 操作で実現する。

2. 先行研究と比べてどこがすごい？

- 既存手法は高コストな retraining、または非効率な multi-pass inference や test 時の external supervision を必要としていた。 - SPOD は training-free かつ single forward pass で動作し、外部 supervision を要さない。 - near-vanilla な推論効率を保ちつつ、複数の inference-time baseline を上回る。 - 追加 supervision だけでなく内部表現の回復が重要という視点を提示。

3. 技術・手法の肝は？

- Frame Distinctiveness Analysis (FDA)：middle-layer hidden-state の geometry から salient frame を同定。 - Temporal Delta Subspace (TDS)：weighted inter-frame hidden-state difference から直交する temporal subspace と prior subspace を構築。 - 最終 hidden state を temporal / prior / residual 成分に分解し、それぞれ独立に rescale。 - 動的情報を強調し、静的な appearance bias を抑制しつつ、補完的情報を保持する。

4. どうやって有効だと検証した？

- VidHalluc、EventHallusion、VideoMMMU の3つのベンチマークで評価。 - 時間的推論タスクにおいて、強い inference-time baseline を一貫して上回ることを示す。 - 複数の model architecture にわたり有効性を確認。 - near-vanilla な推論効率を維持することも報告。

5. 議論はある？

- Video-LLM の時間的推論改善は追加 supervision だけでなく、内部表現に既にある時間的証拠の回復にも依存しうるという示唆。 - 具体的な限界や失敗ケース、計算コストの詳細な議論は要旨からは不明。 - どの層の geometry が最適か等の設計上の議論は要旨からは不明。

6. 次に読むべき論文は？

- VidHalluc、EventHallusion、VideoMMMU の各ベンチマーク関連研究。 - 比較対象の inference-time baseline や temporal hallucination 対策手法（具体名は要旨からは不明）。 - Video-LLM の hidden representation 解析や training-free 推論時介入の関連研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yangguang Lin, Quan Fang, Xiaoyan Liu, Zefan Xu

分類: cs.CV

原文アブストラクト

Video Large Language Models (Video-LLMs) have achieved strong performance on many video understanding tasks, yet remain vulnerable to temporal hallucination in time-sensitive reasoning scenarios such as scene transition understanding and event ordering. Existing solutions either require costly retraining or introduce inefficient multi-pass inference and external supervision at test time. In this work, we show that temporal evidence is already encoded in Video-LLM hidden representations but is not fully exploited during standard inference. Motivated by this observation, we propose Single-Pass Orthogonal Decomposition (SPOD), a training-free framework that recovers suppressed temporal evidence through analytical hidden-state manipulation in a single forward pass. SPOD consists of two components: Frame Distinctiveness Analysis (FDA), which identifies salient frames from middle-layer hidden-state geometry, and Temporal Delta Subspace (TDS), which constructs orthogonal temporal and prior subspaces from weighted inter-frame hidden-state differences. By decomposing final hidden states into temporal, prior, and residual components and rescaling them independently, SPOD enhances dynamic information, suppresses static appearance bias, and preserves complementary information. Experiments on VidHalluc, EventHallusion, and VideoMMMU show that SPOD consistently outperforms strong inference-time baselines across temporal reasoning tasks and model architectures while retaining near-vanilla inference efficiency. These results suggest that improving temporal reasoning in Video-LLMs may depend not only on additional supervision, but also on recovering temporal evidence already present in their internal representations. Our code is available at https://github.com/VioAgnes/SPOD.

arXivで原文を読む →arXiv概要ページ

← 論文一覧