VLA2026/8/18arXiv:2608.17318v1

もし、ならば、そうでなければ：視覚言語ナビゲーションにおける条件分岐の診断

If, Then, Otherwise: Diagnosing Conditional Branching in Vision-Language Navigation

視覚言語ナビゲーションエージェントの条件分岐能力を診断するためのベンチマークCondVLNを導入し、分岐条件をシーングラフに基づいて生成し、エージェントの失敗原因を分析した。

詳しい要約

1. どんなもの？

CondVLNは、Vision-Language Navigation (VLN) エージェントの条件付き分岐命令（if-then-else）の実行能力を診断するためのベンチマークである。実世界のナビゲーション指示は環境の状態に依存することが多いが、既存の評価は固定ゴールへの経路追従に焦点を当てており、条件分岐の実行を制御できない。CondVLNは、3Dシーングラフに基づく述語に条件を接地し、分岐の深さ、依存チェーン長、空間構成、証拠の可観測性、指示の地平線を制御して、11,500以上の条件付き指示をAI2-THOR、Matterport3D、Gibson、ReplicaCADで生成する。標準的なVLNメトリクスに加え、Branch Selection AccuracyとConditional Success Rateという分岐固有の診断指標を提供する。

2. 先行研究と比べてどこがすごい？

既存のVLNベンチマークは、経路追従や固定ゴールへの到達を評価するが、条件分岐の実行を明示的に制御・診断しない。CondVLNは、シーングラフ述語に基づく条件を生成し、分岐の深さや依存チェーン長などの要因を系統的に変化させることで、エージェントの失敗が知覚、接地、ナビゲーション、論理的意思決定のどの段階で生じるかを切り分けることを可能にする。また、標準的なSuccess RateやPath Lengthでは捉えられない、条件と矛盾する分岐を選択しながらも経路を辿る失敗を明らかにする点で優れている。

3. 技術・手法の肝は？

CondVLNは、3Dシーングラフを利用して条件述語（例："if the door is open"）を検証可能な形で接地する。プログラムによる指示生成により、分岐の深さ（ネスト）、依存チェーン長（条件の連鎖）、空間構成（条件対象の位置関係）、証拠の可観測性（条件が視界に入るか）、指示の地平線（命令の長さ）を制御する。評価では、標準的なVLNメトリクス（Success Rate, Path Lengthなど）に加え、Branch Selection Accuracy（選択された分岐が正しいか）とConditional Success Rate（条件を満たした上での成功）を導入する。さらに、軽量なニューロシンボリック分岐選択モデルを提案し、条件接地とナビゲーション実行を分離する。

4. どうやって有効だと検証した？

CondVLNを用いて、VLN-Zero、NaVid、NaVILA、Open-Navの4つの最先端VLNエージェントを評価した。その結果、条件付き分岐は標準的なSuccess RateやPath Lengthでは捉えられない失敗を露呈することが示された。具体的には、エージェントが観測されたシーン条件と矛盾する分岐を選択しながらも、もっともらしくナビゲーションできることがある。また、提案するニューロシンボリック分岐選択モデルは、条件接地をナビゲーション実行から分離することで、性能を2倍に向上させた。

5. 議論はある？

要旨からは、CondVLNが生成する指示の現実性や、シーングラフ述語の検証可能性に依存する点が議論の余地として考えられる。また、ニューロシンボリックモデルの性能向上は、条件接地とナビゲーション実行の分離の有効性を示すが、実環境でのスケーラビリティや、より複雑な条件分岐への一般化は不明である。さらに、標準メトリクスでは見逃される失敗を明らかにしたが、その失敗が実際のナビゲーションタスクでどの程度重要かは議論の余地がある。

6. 次に読むべき論文は？

要旨で参照されている研究は、VLN-Zero、NaVid、NaVILA、Open-Navの各エージェントの論文である。また、関連手法として、シーングラフを用いたVLNや、ニューロシンボリック推論を用いたナビゲーション手法が挙げられる。具体的には、CondVLNの基盤となるシーングラフ接地の研究や、条件付き指示を扱う既存のVLNベンチマーク（例：R2R, REVERIE）が関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Seoyoung Lee, Neel P. Bhatt, Pranay Samineni, Cong Liu, S P Sharan, Timothy Barclay, Gregory M. Wagner, Daniel Milan, Sandeep Chinchali, Ufuk Topcu, Atlas Wang

分類: cs.CV, cs.RO

原文アブストラクト

Vision-language navigation agents are often evaluated on their ability to follow route-like instructions toward a fixed goal. Yet, real navigation instructions often depend on observed states of the environment: if a condition holds, then follow one path, otherwise take another. Such instructions require an agent to evaluate scene evidence, select the correct logical branch, and execute the corresponding navigation behavior. Existing evaluations provide limited control over conditional branch execution, making it difficult to determine whether agents fail because of perception, grounding, navigation, or logical decision-making. We introduce CondVLN, a scene-graph-grounded benchmark for diagnosing conditional branching in vision-language navigation. CondVLN programmatically generates instructions whose branch conditions are grounded in verifiable 3D scene-graph predicates, with controlled variation in branch depth, dependency chain length, spatial composition, evidence observability, and instruction horizon. CondVLN contains over 11,500 generated conditional instructions across AI2-THOR, Matterport3D, Gibson, and ReplicaCAD, and evaluates agents using standard VLN metrics and branch-specific diagnostics: Branch Selection Accuracy and Conditional Success Rate. Evaluating four state-of-the-art VLN agents (VLN-Zero, NaVid, NaVILA, and Open-Nav) shows that conditional branching exposes failures that are not captured by standard success rate or path length alone: agents can navigate plausibly while committing to a branch inconsistent with the observed scene condition. We also present a lightweight neurosymbolic branch-selection model that separates condition grounding from navigation execution, improving performance by 2x. CondVLN provides a reusable testbed for measuring whether embodied agents can not only follow instructions, but follow the right instruction under the right condition.

arXivで原文を読む →arXiv概要ページ

← 論文一覧