日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
マルチモーダルLLMarXiv:2610.26751

Omniを超えて：身体感覚理解のための統合マルチモーダル大規模言語モデル

Beyond Omni: A Unified MLLM for Embodied Sensory Understanding

シェア:XThreadsFacebookLINEはてブBluesky

視覚・音声以外の多様な身体感覚モダリティを扱える統合MLLMフレームワークUnisenseを提案し、8モダリティ100万サンプルの学習コーパスと12ベンチマークで有効性を示した論文。

詳しい要約

1. どんなもの？

- 物理世界の多様な感覚modalityを扱うembodied MLLMフレームワーク「Unisense」の提案 - vision/audioに限られない8つのsensory modalityを共有multimodal architectureで統合 - 1Mサンプル・8 modalityの大規模学習corpus「Unisense-1M」を構築 - depth, point cloud, IMU, tactile, thermal, radar, motion, smellの12 benchmarksで評価

2. 先行研究と比べてどこがすごい？

- 従来のembodied MLLMはvision/audioなど基本modalityに知覚が限定されていた - 多様なsensory modalityはMLLMとの結合が弱く、構造・統計が大きく異なる点が課題だった - Unisenseはこれらheterogeneousな感覚を単一の共有architectureで扱えることを示す - 多くのbenchmarkでgeneralistモデルとspecializedモデルの両方を上回る性能を達成

3. 技術・手法の肝は？

- 共有multimodal architecture上で多様な物理sensory modalityをサポート - 2段階trainingを採用 - 第1段階: sensory representationをlanguageにalignし、language-accessible interfaceを構築 - 第2段階: 共有LLM内でmodality-specific expertsをtuningし、各感覚に特化した処理を実現 - 広範なsensory learningのためUnisense-1M corpusを整備

4. どうやって有効だと検証した？

- depth, point cloud, IMU, tactile, thermal, radar, motion, smellの8 modalityにわたる12 benchmarksで評価 - これらのheterogeneousなsensingタスクで強い性能を達成 - 多くのbenchmarkでgeneralistモデルおよびspecializedモデルを上回ることを確認 - 詳細な実験設定・比較手法は要旨からは不明

5. 議論はある？

- pretrained MLLMがembodied sensory understandingの統一モデルとなり得る可能性を示唆 - 多様な感覚modalityの弱い結合や構造・統計の差異という課題に対し、2段階trainingとmodality-specific expertsで対処 - 限界・失敗事例・ablationなどの詳細な議論は要旨からは不明

6. 次に読むべき論文は？

- 比較対象として言及されるgeneralistモデルおよびspecializedモデル（具体名は要旨からは不明） - embodied MLLMの代表的手法（例: vision-language-action系のMLLM） - multimodal alignmentおよびmodality-specific expertに関する研究 - 各sensory modality（depth, point cloud, IMU, tactile, thermal, radar, motion, smell）の個別認識研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Shiyun Xiong, Dongming Wu, Peiwen Sun, Bokang Yang, Jiaxu Wang, Xiaolou Sun, Mingxing Wen, Xiangyu Yue

分類: cs.CV

原文アブストラクト

Recent embodied systems increasingly build on multimodal large language models (MLLMs) for their pretrained understanding and reasoning capabilities, but their perception of the physical world remains largely limited to basic modalities such as vision and audio. However, broadening MLLMs to more diverse sensory modalities from the physical environment is challenging: their representations are often weakly connected to the MLLM and vary substantially in structure and statistics, while their interpretation still requires shared high-level understanding and reasoning. We therefore propose Unisense, a unified embodied MLLM framework that supports diverse physical sensory modalities within a shared multimodal architecture. Unisense follows a two-stage training process: (i) aligning sensory representations with language to establish a language-accessible interface; and (ii) tuning modality-specific experts within the shared LLM to provide specialized processing for different sensory modalities. To support broad sensory learning, we curate Unisense-1M, a large-scale embodied sensory training corpus comprising 1M samples across 8 sensory modalities. We further evaluate Unisense on 12 benchmarks spanning depth, point cloud, IMU, tactile, thermal, radar, motion, and smell understanding. Across these heterogeneous sensing tasks, Unisense achieves strong performance and outperforms both generalist and specialized models on most benchmarks, demonstrating the potential of pretrained MLLMs as unified models for embodied sensory understanding.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI