日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLMarXiv:2611.24327

Pixel2Perspective:視覚言語モデルのマルチモーダル・マルチビュー汎化のためのベンチマーク

Pixel2Perspective: A Benchmark for Multi-Modal and Multi-View Generalization in Vision-Language Models

シェア:XThreadsFacebookLINEはてブBluesky

空中・地上の多視点や赤外線を含むマルチセンサ環境で、CLIPなどの視覚言語モデルとオープンボキャブラリセマンティックセグメンテーションの汎化性能を評価するベンチマークと不確実性定量化フレームワークを提案した論文。

詳しい要約

1. どんなもの?

- 本論文は Pixel2Perspective と名付けた benchmark を提示する。 - 対象は Vision-Language Models (VLMs) の実環境応用、特に open-vocabulary semantic segmentation (OVSS)。 - 空中(aerial)と地上(ground)の両視点で、多角度の物体位置推定と open-vocabulary segmentation を評価する。 - 複数の視点・センサ modality を横断する評価を可能にする。 - 屋外条件、sim-to-real、赤外線(infrared)を含む複数センサをカバー。 - 併せて Multi-Source RGB-IR Uncertainty Quantification (MSRIQ) という新 framework を提案。 - RGB と infrared 画像にわたり aleatoric と epistemic の不確実性を同時にモデル化する。 - 目的は embodied AI 向けの頑健で汎化可能な知覚システムの開発基盤を提供すること。

2. 先行研究と比べてどこがすごい?

- 要旨では CLIP などの基盤モデルや advanced OVSS モデルを評価対象として挙げているが、個々の先行研究との具体的な比較数値は示されていない。 - 差分として明示されるのは評価設計の広さ。 - aerial と ground の両 perspective を扱う点。 - 視点変化・センサ modality 変化・屋外条件・sim-to-real を横断する点。 - infrared を含む複数センサを対象とする点。 - さらに RGB-IR の不確実性を同時に扱う MSRIQ を提案する点を新規性として位置づける。 - 先行研究と比べた定量的な優位性は要旨からは不明。

3. 技術・手法の肝は?

- benchmark 側の肝は、多角度の物体位置推定と open-vocabulary segmentation を aerial/ground 両視点で評価できる curated dataset の設計。 - 屋外条件、sim-to-real、複数センサ(infrared 含む)を包含する。 - 評価対象は CLIP などの基盤モデルと advanced OVSS モデル。 - 提案 framework MSRIQ (Multi-Source RGB-IR Uncertainty Quantification) の肝は、RGB と infrared 画像にまたがる不確実性の同時モデル化。 - aleatoric uncertainty と epistemic uncertainty の両方を扱う。 - 多様な環境条件下での OVSS モデルの頑健性評価を支える。 - 個々の network 構造や学習手順の詳細は要旨からは不明。

4. どうやって有効だと検証した?

- Pixel2Perspective benchmark 上で、CLIP などの基盤モデルおよび advanced OVSS モデルを評価。 - 異なる視点、センサ modality、屋外条件、sim-to-real を跨ぐ設定で評価する。 - MSRIQ により RGB-IR の不確実性を考慮した頑健性評価を行う。 - 具体的な dataset 規模、評価指標、定量結果は要旨からは不明。

5. 議論はある?

- 要旨は cross-domain generalization が embodied AI 実用化の障壁であると問題提起する。 - 屋外条件・悪天候・視点変化・センサ差に対する OVSS の頑健性評価の必要性を強調。 - MSRIQ による不確実性定量化を、多様な環境下での信頼性評価の手段として位置づける。 - 限界や失敗事例、計算コスト、benchmark の網羅性に関する具体的議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で直接参照される CLIP と advanced OVSS モデル(個別名は要旨に記載なし)の原論文。 - open-vocabulary semantic segmentation (OVSS) の代表的手法に関する論文。 - RGB-IR 融合や infrared を用いた semantic segmentation の研究。 - aleatoric/epistemic uncertainty quantification を segmentation に適用した研究。 - sim-to-real および cross-domain generalization を扱う embodied AI 知覚の benchmark 研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Aditya Gandhamal, Aniruddh Sikdar, Arya Kishor, Suresh Sundaram

分類: cs.CV

原文アブストラクト

Embodied AI systems, such as drones and autonomous vehicles, improve navigation by enhancing perception in environments containing unseen objects. While Visual Language Models (VLMs) offer strong image understanding, their real-world application is underexplored. For effective deployment, open-vocabulary semantic segmentation (OVSS) models, leveraging models like CLIP to assign pixel-level labels from text, must be robust to outdoor conditions, adverse weather, and varying viewpoints. Despite their potential, these models encounter significant challenges in cross-domain generalization, hindering their practical use in embodied AI applications. In this work, we present Pixel2Perspective, a benchmark for multi-angle object localization and open-vocabulary segmentation across both aerial and ground perspectives. This benchmark supports thorough evaluation across different viewpoints and sensor modalities. We assess foundational models like CLIP and advanced OVSS models using a curated dataset that spans varied outdoor conditions, sim-to-real scenarios, and multiple sensors, including infrared, to support the development of robust and generalizable perception systems. We also present a novel framework, Multi-Source RGB-IR Uncertainty Quantification (MSRIQ), which jointly models aleatoric and epistemic uncertainties across RGB and infrared imagery. This approach supports robust evaluation of open-vocabulary segmentation models across diverse environmental conditions. Our work sets a robustness-driven benchmark, providing key insights and laying the foundation for future research in open-world embodied AI perception. The benchmark and project page are available at https://aniruddhsikdar1.github.io/publications/pixel2perspective/

関連論文

  1. 1パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3日経クロステック、NVIDIA取締役会のファンCEO解任議論を報道 同社は同日、辞任を発表業界動向
  4. 4NVIDIA、ヒトの動きをロボットに適応する「SOMA Retargeter」を紹介研究・技術
  5. 5ティアフォーとTUM、Autowareでミュンヘン大型路線バスの自動運転開発を支援提携・買収

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI