VLA2026/9/14arXiv:2609.16409

画像生成による推論

Reasoning with Image Generation

マルチモーダルLLMの推論に画像生成モデルを柔軟な視覚操作ツールとして組み込み、多視点空間推論や衝突予測など6タスクで最大25%の性能向上を達成した。

詳しい要約

1. どんなもの？

- 画像生成モデルを視覚的推論機構として活用する ReImaGin を提案。 - マルチモーダル LLM の推論をテキストに限定せず、生成による視覚操作を可能にする。 - 遮蔽除去や複数視点からの floorplan 生成など開かれた視覚操作を自然言語コマンドで実行。 - 6 つの視覚推論タスクで評価。

2. 先行研究と比べてどこがすごい？

- 従来の Chain-of-thought はテキスト推論に限定され、視覚表現の直接操作が困難。 - 既存の外部視覚専門ツール（depth estimation や object detection）は狭く固定的な操作に依存。 - ReImaGin は画像生成モデルにより柔軟で開かれた視覚操作を実現。 - text-only 推論や専門視覚ツールベースラインを最大 25% 上回る。

3. 技術・手法の肝は？

- 画像生成モデルをマルチモーダル LLM の視覚推論機構として利用。 - 自然言語コマンドを受け付け、開かれた視覚操作を実行。 - 例：遮蔽除去、複数の disjoint な部屋視点からの floorplan 生成。 - 固定的なツールではなく生成モデルによる柔軟な変換が肝。

4. どうやって有効だと検証した？

- 6 つの多様な視覚推論タスクで検証。 - multi-view spatial reasoning や collision prediction を含む。 - text-only 推論および specialist vision-tool ベースラインと比較。 - 最大 25% の性能向上を確認。

5. 議論はある？

- 要旨からは不明。 - 限界や失敗事例、計算コスト、生成の信頼性に関する議論は要旨に記載なし。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究：Chain-of-thought reasoning、外部視覚専門ツール（depth estimation、object detection）。 - 関連手法：ReImaGin 自体。 - 同分野の定番：multimodal LLM、visual reasoning、image generation models。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Nishad Singhi, Hector Garcia Rodriguez, Aditya Arora, Marcus Rohrbach, Anna Rohrbach

分類: cs.CV

原文アブストラクト

Chain-of-thought reasoning has revolutionized natural language processing by enabling large language models (LLMs) to decompose problems into intermediate steps before answering. Yet confining reasoning to the textual domain presents limitations for tasks requiring direct manipulation of visual representations. Recent efforts augment multimodal LLMs with external visual expert tools such as depth estimation or object detection modules, but these remain fundamentally limited by their reliance on narrow, rigid operations that cannot flexibly generate or transform visual content. We propose ReImaGin, which leverages image generation models as a flexible visual reasoning mechanism for multimodal LLMs: unlike fixed-function tools, they accept natural language commands and can perform open-ended visual operations, like removing an occlusion or generating a floorplan from multiple disjoint views of a room. Across six diverse visual reasoning tasks including multi-view spatial reasoning and collision prediction, ReImaGin consistently outperforms both text-only reasoning and specialist vision-tool baselines, with gains of up to 25\%, demonstrating the advantage of flexible, generative visual reasoning.

arXivで原文を読む →arXiv概要ページ