3Dシーン理解2026/8/5arXiv:2608.05137

SmartMage: 3Dシーン理解のための動的モダリティ編成

SmartMage: Dynamic Modality Orchestration for 3D Scene Understanding

3Dシーン理解において、クエリに応じて必要なモダリティを動的に選択するMLLMを提案し、固定のモダリティ組み合わせによるノイズや計算浪費を改善した。

詳しい要約

1. どんなもの？

SmartMageは、3Dシーン理解のための統合Multimodal Large Language Model (MLLM)であり、クエリに応じて視覚・幾何などのモダリティを動的に選択・統合する。従来の固定モダリティ組み合わせの問題を解決し、意味的に適切なモダリティをルーティングするSMARTモジュールと、モダリティ事前知識に基づき専門家を活性化するMAGEモジュールを備える。

2. 先行研究と比べてどこがすごい？

既存のMLLMは固定のモダリティ組み合わせを用いるため、クエリによっては無関係なモダリティがノイズとなり、有益なモダリティを活用できない。SmartMageはセマンティック事前知識、テキスト-モダリティ整合性、モダリティ品質に基づき動的にモダリティを選択することで、計算効率と推論精度を向上させる点が新しい。

3. 技術・手法の肝は？

手法の核は2点。(1) Semantic-guided Modality Adaptive RouTing (SMART)モジュールは、セマンティック事前知識とテキスト-モダリティ整合性、モダリティ品質スコアを用いて、タスク関連モダリティを選択する。(2) Modality-Aware Gating Expert (MAGE)モジュールは、モダリティ事前知識を利用して専門家の活性化をガイドし、マルチモーダル推論における適応的特殊化を促進する。

4. どうやって有効だと検証した？

5つの3Dシーン理解ベンチマークで最先端性能を達成し、RGBのみのビデオ理解ベンチマークでも競争力のある結果を得た。さらに、診断用ベンチマークScanFacetを導入し、タスクを細かいセマンティックカテゴリに分割して、各セマンティックタイプが好むモダリティ組み合わせを分析し、モダリティ-セマンティックパターンがSmartMageの有効性を裏付けることを示した。

5. 議論はある？

要旨からは、動的モダリティ選択の計算コストや、モダリティ品質評価の信頼性、ScanFacetのカテゴリ設計の一般性などに関する議論は不明。また、RGB-onlyビデオ理解での競争力はあるが、3Dシーン理解に特化した設計が他の領域でどの程度有効かは議論の余地がある。

6. 次に読むべき論文は？

要旨で参照されているMultimodal Large Language Models (MLLMs)の関連研究、および3Dシーン理解のベンチマーク（ScanFacet以外）や、モダリティ融合の動的ルーティングに関する研究。具体的には、3Dシーン理解のためのMLLM（例：LL3DA、3D-LLM）や、モダリティ選択のためのルーティング手法（例：Mixture of Experts）を読むとよい。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yue Zhang, Yingzhao Jian, Yunqiu Xu, Xiaoxiao Sun, Hehe Fan

分類: cs.CV

原文アブストラクト

Understanding 3D scenes is fundamental to embodied intelligence, requiring joint reasoning over heterogeneous information from multiple modalities, including visual and geometric cues. However, the relevance of these modalities often varies across queries. Existing Multimodal Large Language Models (MLLMs) typically rely on fixed modality combinations, overlooking query-dependent modality needs. Such a rigid design can introduce semantic noise from irrelevant modalities while underutilizing more informative ones, leading to wasted computation and diluted reasoning. To address these challenges, this paper proposes SmartMage, a unified MLLM that dynamically orchestrates heterogeneous modalities for semantic-aware 3D scene understanding. Specifically, SmartMage incorporates: (1) a Semantic-guided Modality Adaptive RouTing (SMART) module that selects task-relevant modalities using semantic priors, text-modality alignment, and modality quality; and (2) a Modality-Aware Gating Expert (MAGE) module that leverages modality priors to guide expert activation, fostering adaptive specialization in multimodal reasoning. Empirically, SmartMage achieves state-of-the-art performance across five 3D scene understanding benchmarks, and attains competitive results on RGB-only video understanding benchmarks. In our diagnostic benchmark ScanFacet, tasks are divided into fine-grained semantic categories, enabling analysis of modality combinations preferred by each semantic type. The observed modality-semantic patterns provide further evidence of SmartMage's effectiveness. Project page: https://yuecheong.github.io/SmartMage/.

arXivで原文を読む →arXiv概要ページ