日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

視覚言語ナビゲーションarXiv:2611.10366

較正済み視覚言語ナビゲーションによる未知環境での物体探索

CPNav: Calibrated Vision-Language Navigation for Object-Goal Search in Unseen Environments

シェア:XThreadsFacebookLINEはてブBluesky

VLMの行動スコアをConformal Predictionで較正し、衝突回避計画とバックトラック探索を組み合わせて未知環境での物体目標ナビゲーションを実現した。

詳しい要約

1. どんなもの?

- 本論文は CPNav という、未見環境における object-goal navigation のための navigation framework を提案する。 - RGB-D 入力から navigability map を構築し、collision-free な motion primitives を生成する。 - 2つの VLM を goal detection と action scoring に用いる。 - VLM の action scores を conformal prediction (CP) で offline に calibration する。 - 地図を持たない map-free な枠組みで、simulation と実機の両方で評価する。

2. 先行研究と比べてどこがすごい?

- VLM ベース手法は豊かな semantic reasoning を持つ一方、action decision が uncalibrated で overconfident になりやすいという課題がある。 - CPNav は collision-aware planning と統計的に calibrated な VLM action scoring を組み合わせる点が特徴。 - conformal prediction (CP) により user-specified risk level での finite-sample guarantees を与える。 - CP layer は model-agnostic で任意の VLM policy に適用可能。 - 未calibrated baseline と比較して SR/SPL の改善を報告している。

3. 技術・手法の肝は?

- RGB-D から navigability map を構築し、collision-free な motion primitives を生成する。 - 2つの VLM に goal detection と action scoring を問い合わせる。 - tree-structured exploration procedure with backtracking により oracle actions を取得し、それを使って offline に CP でスコアを calibration する。 - online では calibrated VLM scores が action selection を導く。 - tree-structured exploration history が代替 action を記録し、backtracking を可能にする。

4. どうやって有効だと検証した?

- AI Habitat simulation と実機の両方で評価している。 - simulation では HM3D v0.2 と MP3D で評価。 - HM3D v0.2 で uncalibrated baseline 比 SR 6.2%、SPL 11.4% の相対改善。 - MP3D で SR 12.4%、SPL 8.8% の相対改善。 - 実機では modified Hiwonder MentorPi robot を用いて展開。 - SR 24.9%、SPL 15.2% の相対改善を報告。

5. 議論はある?

- 要旨からは不明。 - ただし CP による finite-sample guarantees が user-specified risk level で与えられる点、CP layer が model-agnostic である点が述べられている。 - 実機展開での改善幅が simulation より大きい理由などについての議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で直接参照/比較されているのは uncalibrated baseline method と VLM-based methods。 - 関連手法として conformal prediction (CP)、VLM、AI Habitat、HM3D v0.2、MP3D、Hiwonder MentorPi robot が挙げられる。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Qizhao Chen, Yuanhong Zeng, Shoh Nishino, Anushri Dixit

分類: cs.RO, cs.AI

原文アブストラクト

Directing a robot to locate a target object in unseen environments remains a central challenge in embodied AI. Vision-Language Model (VLM)-based methods provide rich semantic reasoning but often produce uncalibrated and overconfident action decisions. We introduce CPNav, a navigation framework that combines collision-aware planning with statistically calibrated VLM action scoring for map-free object-goal navigation. From RGB-D input, CPNav constructs a navigability map, generates collision-free motion primitives, and queries two VLMs for goal detection and action scoring. The resulting scores are calibrated offline via conformal prediction (CP) using oracle actions obtained through a tree-structured exploration procedure with backtracking, providing finite-sample guarantees at a user-specified risk level. The CP layer is model-agnostic and can wrap any VLM policy. Online, calibrated VLM scores guide action selection, while a tree-structured exploration history records alternative actions and allows backtracking. We evaluate CPNav in both simulation and real-world hardware settings. In AI Habitat simulation, compared with the uncalibrated baseline method, CPNav achieves relative SR and SPL improvements of 6.2% and 11.4% on HM3D v0.2, and 12.4% and 8.8% on MP3D, respectively. In real-world deployment on a modified Hiwonder MentorPi robot, the corresponding improvements in SR and SPL are 24.9% and 15.2%, respectively. Code is available at https://github.com/practice-lab-ucla/CPnav.

関連論文

  1. 1パナソニックHDら、ロボット操作AI「T-Rex」を共同開発 12タスクで平均成功率65%研究・技術
  2. 2Hugging Face、ロボット学習基盤「LeRobot v0.7.0」を公開 対話操作と大規模データ学習に対応新製品・発表
  3. 3NVIDIA、Vera CPUのエージェント処理性能を公表 x86比で速度・電力効率を比較半導体・GPU
  4. 4Agility、SPAC合併でナスダック上場資金調達
  5. 5智元、清華大学などとCELを発表 96台のロボットで群体学習を検証研究・技術
PR本紙発行元 EmplifAI