ビデオ推論2026/8/16arXiv:2608.15869

視覚的思考の内面化：能動的なビデオ推論のための内部化視覚思考

Beyond Visual CoT: Internalized Visual Thinking for Proactive Video Reasoning

ビデオ推論において、推論時に中間画像を生成するVisual CoTの代わりに、訓練時に未来フレームの潜在表現を予測するInternalized Visual Thinkingを提案し、推論時のオーバーヘッドを削減しつつ性能を維持・向上させた。

詳しい要約

1. どんなもの？

本論文は、マルチモーダル大規模言語モデル（Multimodal Large Language Models）におけるビデオ推論の効率化を目指し、Internalized Visual Thinking (IVT) というポストトレーニングフレームワークを提案している。従来のVisual Chain-of-Thought (Visual CoT) が推論時に中間画像を生成するのに対し、IVTは訓練中に将来フレームの潜在表現を予測する「内部視覚思考」を学習し、推論時には直接テキスト回答を生成する。これにより、推論時の画像生成・再エンコードを不要にし、計算コストを削減しつつ、空間・時間・身体性を伴う環境の推論精度を向上させることを目指す。

2. 先行研究と比べてどこがすごい？

先行研究のVisual CoTは、推論時に中間の推論画像を生成することで視覚的予測を行うが、大きな推論オーバーヘッドを伴う。IVTは、このオーバーヘッドを訓練時に移行し、推論時には直接回答を生成する点で優れている。さらに、IVTは直接回答のファインチューニング（direct-answer fine-tuning）と比較して、6つの評価設定すべてで性能を向上させ、Visual CoTと同等以上の性能を達成しつつ、エンドツーエンドのレイテンシを5倍以上削減する。これは、推論時の明示的なピクセル空間生成が必ずしも必要ではないことを示す。

3. 技術・手法の肝は？

IVTは、未ラベルのビデオを用いたポストトレーニングフレームワークで、テキスト予測と次埋め込み予測（next-embedding prediction）を同時に最適化する。具体的には、部分的に観測されたビデオが与えられたとき、将来フレームの潜在表現とターゲットのテキスト回答を予測する。これにより、モデルは動き、物体の遷移、相互作用、潜在的な意図を捉えることを学習する。推論時には、将来フレームの合成や再エンコードを行わずに直接回答を生成する。手法の詳細には、ターゲット表現、デコーダ設計、予測ホライズン、データ混合、訓練カリキュラム、予測目的関数の選択が含まれる。

4. どうやって有効だと検証した？

有効性の検証は、制御された研究を通じて行われた。ターゲット表現、デコーダ設計、予測ホライズン、データ混合、訓練カリキュラム、予測目的関数の各要素を変化させて比較実験を実施した。その結果、IVTは直接回答のファインチューニングと比較して、6つの評価設定すべてで性能が向上した。また、明示的なVisual CoTと比較して、同等以上の性能を達成し、平均エンドツーエンドレイテンシを5倍以上削減した。

5. 議論はある？

議論としては、IVTの成功は、推論時の明示的なピクセル空間生成（Visual CoT）が効果的なプロアクティブビデオ推論に必ずしも必要ではないことを示唆している。予測的ワールドモデリングを訓練中に内部化することで、より正確で効率的なマルチモーダル推論が可能になる。しかし、要旨からは、IVTの限界や特定のタスクでの失敗事例、他のモデルアーキテクチャへの一般化可能性などは不明である。また、訓練時の計算コストやデータ要件についての詳細も不明。

6. 次に読むべき論文は？

要旨で参照されている研究は、Visual Chain-of-Thought (Visual CoT) と直接回答のファインチューニング（direct-answer fine-tuning）である。次に読むべき論文としては、Visual CoTの元論文や、マルチモーダル推論におけるチェーン・オブ・ソートの関連研究、予測的ワールドモデリングに関する研究（例：World Models）が挙げられる。具体的なタイトルは要旨にないため、一般名で示す。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xiaoyu Zhu, Xinke Deng, Suresh Taddewadikar, Arnab Kumar Mondal, Zhongyu Jiang, Ian Fasel, Joerg Liebelt

分類: cs.CV, cs.AI, cs.CL, cs.LG, cs.MM

原文アブストラクト

Multimodal large language models increasingly use visual chain-of-thought (Visual CoT) to reason about spatial, temporal, and embodied environments. By generating intermediate reasoning images, Visual CoT provides an intuitive mechanism for visual foresight but introduces substantial inference overhead, which is particularly problematic for proactive video reasoning. We ask whether models can learn to think visually during training while reasoning directly at inference. We introduce Internalized Visual Thinking (IVT), a post-training framework that jointly optimizes textual prediction and next-embedding prediction over unlabeled videos. Given a partially observed video, IVT predicts latent representations of future frames together with the target textual answer, encouraging the model to capture motion, object transitions, interactions, and latent intent. At inference, IVT generates the answer directly without synthesizing or re-encoding future frames. We conduct controlled studies across target representations, decoder designs, prediction horizons, data mixtures, training curricula, and predictive objectives. IVT improves over direct-answer fine-tuning on all six evaluation settings while retaining the same inference pathway. Compared with explicit Visual CoT, IVT achieves comparable or better performance and reduces average end-to-end latency by more than 5x. Together, our findings suggest that explicit pixel-space generation at inference time, as used in visual chain-of-thought, may not be necessary for effective proactive video reasoning. Predictive world modeling can be internalized during training to produce multimodal reasoners that are both more accurate and substantially more efficient.

arXivで原文を読む →arXiv概要ページ