VLA2026/9/15arXiv:2609.16610

EgoPathBench：視覚言語モデルのゼロショット一人称視点ウェイポイント意思決定の評価

EgoPathBench: Evaluating Zero-Shot Egocentric Waypoint Decision-Making in Vision-Language Models

一人称視点の画像と目標から経路を選ぶ能力を測る5タスクのベンチマークを提案し、既存の視覚言語モデルが完全な経路計画を苦手とすることを示した。

詳しい要約

1. どんなもの？

- 一人称視点のwaypoint意思決定を評価するEgoPathBenchを提案 - データセットと5タスクのベンチマークから構成 - 各問はegocentric RGB画像、自然言語goal、番号付き可視waypointを提示 - モデルは通行可能候補または順序付きrouteを返す - 評価は候補feasibility、隣接edge合法性、goal到達をpoint-agentまたはembodied geometryで判定 - 31,852 training、1,345 validation、1,111 benchmark問題を含む - 全route問題に幾何検証済み参照routeを最低1つ保持

2. 先行研究と比べてどこがすごい？

- 既存のspatial-intelligenceベンチマークは関係・方向・targetの孤立判断を評価 - それらはtarget認識、action-consequence評価、距離推定、path planningを統合するnavigation能力を直接測れない - EgoPathBenchは統合的な一人称waypoint意思決定を評価する点で先行研究と異なる - 9つのVLMで最高EgoPath Scoreは28.3にとどまる - 最高モデルでもPoint Path 35.9%、Embodied Path 2.9%、Intent Path 4.0%成功 - embodiment制約下で完全かつgoal整合route形成が現行モデルに困難と示す

3. 技術・手法の肝は？

- egocentric RGB画像、自然言語goal、番号付き可視waypointを入力 - モデルは通行可能候補または順序付きrouteを出力 - 候補feasibility、隣接edge合法性、goal到達を評価 - point-agentまたはembodied geometryで判定 - 全route問題に幾何検証済み参照routeを保持 - 評価データに加え対応するtraining resourceを公開 - Qwen 3.5 4Bをtraining splitでfine-tuning

4. どうやって有効だと検証した？

- 9つのVLMをEgoPathBenchで評価 - 最高EgoPath Scoreは28.3 - 最高モデルはPoint Path 35.9%、Embodied Path 2.9%、Intent Path 4.0% - Qwen 3.5 4Bを公開training splitでfine-tuning - EgoPath Scoreが3.9から38.9へ上昇 - 3つの外部spatialベンチマークで報告された4評価すべて改善 - 改善幅は1.4--9.6ポイント

5. 議論はある？

- 現行モデルはembodiment制約下で完全かつgoal整合route形成に限界 - 統合navigation能力の評価ギャップを埋めることを目的 - 最高EgoPath Scoreが28.3と低く、課題の難しさを示す - Point PathとEmbodied/Intent Pathの成功率差が大きい - fine-tuningで改善するが、要旨からは限界の詳細な議論は不明 - 要旨からは失敗要因や一般化の議論は不明

6. 次に読むべき論文は？

- 要旨で参照/比較されている個別研究は明示されていない - 関連手法としてvision-language models (VLMs)、spatial-intelligence benchmarks、waypoint navigation、embodied navigationが挙げられる - 次に読むべき具体論文は要旨からは不明 - 同分野の定番としてVision-and-Language Navigation (VLN)、embodied AI benchmarks、spatial reasoning benchmarksが候補

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yang Zhao, Zhuo Chen, Xubo Yang

分類: cs.CV

原文アブストラクト

Zero-shot waypoint navigation requires vision-language models to select, from the current first-person observation, a sequence of spatial actions that is feasible for the agent and reaches the goal, placing joint demands on the integrated spatial intelligence of today's foundation VLMs. Existing spatial-intelligence benchmarks primarily evaluate isolated judgments of relations, directions, or targets and therefore do not directly measure the integrated navigation ability required to combine target recognition, action-consequence assessment, distance estimation, and path planning. To fill this evaluation gap, we introduce EgoPathBench, a dataset and five-task benchmark for first-person waypoint decision-making. Each question presents an egocentric RGB image, a natural-language goal, and numbered visible waypoints; a model returns traversable candidates or an ordered route. Predictions are evaluated for candidate feasibility, adjacent-edge legality, and goal arrival under point-agent or embodied geometry. EgoPathBench contains 31,852 training, 1,345 validation, and 1,111 benchmark questions and retains at least one geometrically verified reference route for every route question. Across nine VLMs, the highest EgoPath Score is only 28.3. The top-ranked model reaches 35.9% success on Point Path, but only 2.9% and 4.0% on Embodied Path and Intent Path, respectively, showing that current models remain limited in forming complete, goal-consistent routes under embodiment constraints. Beyond the evaluation data, we release the corresponding training resource. Fine-tuning Qwen 3.5 4B on the released training split raises its EgoPath Score from 3.9 to 38.9 and improves all four reported evaluations across three external spatial benchmarks, with gains of 1.4--9.6 points.

arXivで原文を読む →arXiv概要ページ