日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

3DセマンティックマッピングarXiv:2611.24696

幾何学的事前分布を用いたオフロード環境でのゼロショット3Dセマンティックマッピングの改善

Improving Zero-shot 3D Semantic Mapping in Offroad with Geometric Priors

シェア:XThreadsFacebookLINEはてブBluesky

各セマンティッククラスに球面度・標高分布をフィットさせて幾何学的アンカーとし、視覚基盤モデルの予測と融合することで、オフロード環境でのゼロショット3Dセマンティックマッピングの精度を向上させた論文。

詳しい要約

1. どんなもの?

- オフロード環境におけるゼロショット3Dセマンティックマッピングの手法 - vision foundation modelの予測と3D point cloudの幾何情報を融合 - 各semantic classごとにsphericity-elevation分布をフィッティングしgeometric anchorとして利用 - 最終的なsemantic mappingを生成することを目的とする

2. 先行研究と比べてどこがすごい?

- 従来のvision foundation modelは構造化シーンでは高精度だが自然環境で性能が低下 - 3D point cloudはvision foundation modelが失敗する場面でsemantic判別に有効な情報を持つ - 両者を融合することでSAM3 baselineを上回る性能を実現 - RELLIS-3DでmIoU +6.3、accuracy +8.9、WildScenesでmIoU +1.7、accuracy +2.1の改善

3. 技術・手法の肝は?

- 各semantic classに対しsphericity-elevation分布をフィッティングしgeometric anchorとする - フィッティングにはvision foundation modelの予測信頼度が最も高い点のみを使用し高品質なgeometric prior分布を生成 - このgeometric priorをvision foundation modelの予測と融合し最終的なsemantic mappingを出力 - 詳細な融合アルゴリズムは要旨からは不明

4. どうやって有効だと検証した?

- RELLIS-3DデータセットとWildScenesデータセットで評価 - SAM3 baselineとの比較でmIoUとaccuracyの改善を確認 - RELLIS-3DでmIoU +6.3、accuracy +8.9 - WildScenesでmIoU +1.7、accuracy +2.1

5. 議論はある?

- 要旨からは不明 - オフロード環境でのvision foundation modelの性能劣化と3D point cloudの有効性が背景として述べられている - 限界や失敗事例に関する議論は要旨には記載なし

6. 次に読むべき論文は?

- SAM3 (baselineとして比較) - vision foundation model全般 - RELLIS-3DおよびWildScenesデータセット関連研究 - 3D point cloudを用いたsemantic mapping手法

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Eerik Alamikkotervo, Risto Ojala

分類: cs.CV

原文アブストラクト

Semantic 3D mapping is a powerful representation that enables platform agnostic mobile robot navigation in challenging offroad conditions. Current vision foundation models can accurately predict semantics zero-shot on structured scenes but performance is compromised in natural environments. On the other hand, 3D point clouds encode valuable information for discriminating semantics in scenarios where vision foundation models fail. In this work, we propose fitting a sphericity-elevation distribution for each semantic class to act as geometric anchor. Only the points with the most confident vision foundation model predictions are considered when fitting to produce high quality geometric prior distributions. The geometric prior is fused with the vision foundation model prediction to produce the final semantic mapping. The proposed prior improves SAM3 baseline by +6.3 in mIoU and +8.9 in accuracy on the RELLIS-3D dataset, and by +1.7 in mIoU and +2.1 in accuracy on the WildScenes dataset. The source code will be made public upon paper acceptance.

関連論文

  1. 1パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3日経クロステック、NVIDIA取締役会のファンCEO解任議論を報道 同社は同日、辞任を発表業界動向
  4. 4NVIDIA、ヒトの動きをロボットに適応する「SOMA Retargeter」を紹介研究・技術
  5. 5ティアフォーとTUM、Autowareでミュンヘン大型路線バスの自動運転開発を支援提携・買収

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI