日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
VLAarXiv:2610.29203

NavBind:ナビゲーションVLAにおける分岐点での指示-行動バインディングの診断

NavBind: Diagnosing Instruction-Action Binding at Route Forks in Navigation VLAs

シェア:XThreadsFacebookLINEはてブBluesky

経路の分岐点で指示を変えたとき行動分布が変わるかを調べ、ナビゲーション成功が指示追従を意味しないことを示す診断手法を提案した論文。

詳しい要約

1. どんなもの?

- 視覚言語行動(VLA)ナビゲーションモデルにおける instruction-action binding を診断する枠組み NavBind を提案する研究。 - ナビゲーション成功(goal到達)だけでは、モデルが指示に従っているのか視覚的手がかりや履歴に依存しているのか判定できないという問題意識。 - ナビゲーション文脈を固定したまま指示を変えたとき、行動の確率分布が変化するかを評価する。 - R2R-CE と RxR-CE の route-aligned instruction segments を再結合し、3,252 個の route-fork contexts を構築。 - 各 context は、既に走行した経路の記述を共有しつつ異なる分岐を指定する full instructions のペアからなる。 - 同一の agent state と navigation history の下で両指示を評価する。

2. 先行研究と比べてどこがすごい?

- 従来のナビゲーション評価は goal 到達に基づく navigation success が中心であり、指示追従性そのものを切り分けて測る枠組みが乏しい。 - NavBind は「文脈固定・指示のみ変更」という対照設計により、指示が行動分布に与える影響を診断できる点が新しい。 - 成功指標と指示追従性が一致しない可能性を直接検証できる。 - 評価対象モデル間で、報告される navigation success が高いことが指示への忠実な追従を意味しないことを示した点が先行研究との差異。 - 具体的な既存ベースラインとの比較数値は要旨からは不明。

3. 技術・手法の肝は?

- route-fork context の構築: R2R-CE と RxR-CE の route-aligned instruction segments を再結合し、走行済み経路の記述を共有し分岐のみ異なる指示ペアを 3,252 個生成。 - 同一 agent state・navigation history の下で両指示を入力し、以下を比較。 - 生成される局所行動系列(local action sequences)。 - 固定参照行動系列の両指示下での尤度(likelihoods)。 - 視覚的 attention と attribution の変化。 - 指示変更に対する行動確率分布の変化を instruction-action binding の指標として診断する設計。

4. どうやって有効だと検証した?

- 3,252 個の route-fork contexts を用い、同一状態・履歴で指示ペアを比較する実験を実施。 - 生成行動系列、参照行動系列の尤度、visual attention/attribution の変化を測定。 - 評価したモデル群において、報告される navigation success が高いほど指示に忠実に従うとは限らないことを確認。 - 個々のモデル名や定量結果の詳細は要旨からは不明。

5. 議論はある?

- navigation success を指示追従性の代理指標として扱うことの限界を提起。 - 成功しても視覚的手がかりや navigation history に依存している可能性を排除できない。 - 文脈固定で指示のみ変える対照設計の妥当性や、attention/attribution 変化の解釈については要旨からは不明。 - モデル規模や学習データと binding の関係、改善手法については要旨からは不明。

6. 次に読むべき論文は?

- R2R-CE および RxR-CE(本研究がデータ構築に使用)。 - Vision-language-action(VLA)ナビゲーションモデル全般(具体的モデル名は要旨からは不明)。 - instruction following 評価や vision-language navigation の定番ベンチマーク(R2R、RxR など)。 - 指示追従性と navigation success の乖離を扱う関連研究(要旨に個別参照は無し)。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Josh Qixuan Sun, Xiaoying Xing, Yurun Chen, Huaiyuan Weng, Wentao Zhu, Mark Crowley

分類: cs.RO

原文アブストラクト

Vision-language-action (VLA) navigation models translate visual observations and instructions into actions. Navigation success assesses whether an agent reaches the goal. However, reaching the goal successfully does not establish whether the model genuinely follows the instructions or relies on visual cues or navigation history. We introduce NavBind to diagnose instruction-action binding: whether changing the instruction influences the probabilistic distribution of the actions, with the navigation context fixed. We construct 3,252 route-fork contexts by recombining route-aligned instruction segments from R2R-CE and RxR-CE. Each context pairs full instructions that share the description of the route already traveled but specify different branches. Both are evaluated under the same agent state and navigation history. We compare generated local action sequences, the likelihoods of fixed reference action sequences under both instructions, and changes in visual attention and attribution. Across the evaluated models, higher reported navigation success does not imply that the model more faithfully follows the instructions.

関連論文

PR本紙発行元 EmplifAI