日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
VLAarXiv:2610.23203

SimpleVLN:シンプルかつ最先端の視覚言語ナビゲーション

SimpleVLN: Towards Simple and Frontier Vision-Language Navigation

シェア:XThreadsFacebookLINEはてブBluesky

MLLMをそのまま活かす設計で、履歴管理・データ構築・段階的最適化を工夫し、視覚言語ナビゲーションで高い成功率を達成した研究。

詳しい要約

1. どんなもの?

- どんなもの? - Vision-and-Language Navigation (VLN) のためのアーキテクチャ保持型フレームワーク SimpleVLN を提案する研究。 - タスク特化型アーキテクチャを導入せず、native な MLLM の能力を引き出すことを狙う。 - navigation formulation、data construction、optimization の3側面を検討して構築。 - 複数の MLLM backbone とモデルサイズで実装し、汎用性を示す。

2. 先行研究と比べてどこがすごい?

- 先行研究と比べてどこがすごい? - 既存手法は task-specific architectures で VLN の要求に対処する傾向があった。 - SimpleVLN はアーキテクチャを保持したまま native MLLM の VLN 能力を解き放てることを示す。 - R2R-CE で 76.7%、RxR-CE で 80.1% の success rate を達成し、既存手法を大幅に上回る。 - 複数 backbone・モデルサイズでの実装により generality を示す。

3. 技術・手法の肝は?

- 技術や手法の肝はどこ? - formulation: single-turn decision inputs と fixed-budget global-local memory を組み合わせ、履歴を有界な context で利用。 - action chunks により1回の model invocation で複数の primitive actions を効率的に出力。 - data construction: expert demonstrations に policy-dependent DAgger experience を組み合わせ、RL 用の大規模タスクを生成する scalable synthesis pipeline を開発。 - optimization: action imitation から task-level outcome optimization へ進む progressive IL-DAgger-RL pipeline を採用。

4. どうやって有効だと検証した?

- どうやって有効だと検証した? - formulation、data construction、optimization の3側面それぞれについて comprehensive experiments で有効性を検証。 - 複数の MLLM backbone とモデルサイズに SimpleVLN を実装し、汎用性を確認。 - R2R-CE と RxR-CE splits で評価し、success rate 76.7% と 80.1% を報告。 - 既存手法との比較で大幅な性能向上を示す。

5. 議論はある?

- 議論はある? - task-specific architecture なしで native MLLM の navigation 能力を有効化できることを結果が示すと主張。 - 一方、具体的な limitation や failure case、計算コスト、memory 設計の感度などは要旨からは不明。 - 各コンポーネントの寄与度の詳細な分析は要旨からは不明。

6. 次に読むべき論文は?

- 次に読むべき論文は? - 要旨で参照・比較されている個別研究は明示されていないため、同分野の定番として以下が候補。 - R2R-CE / RxR-CE ベンチマークに関する VLN 研究。 - DAgger を用いた imitation learning 系の VLN 研究。 - MLLM を embodied navigation に適用する研究。 - task-specific architecture を用いた従来 VLN 手法。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Lingyi Hong, Weiren Cai, Jiayu Chen, Xinyu Zhou, Bailin He, Yunfei Guo, Qiao Sun, Boyu Ma, Jianfei Yang, Wenqiang Zhang

分類: cs.RO

原文アブストラクト

Vision-and-Language Navigation (VLN) requires embodied agents to ground language in visual observations and make long-horizon decisions. Existing methods often address these demands through task-specific architectures. As multimodal large language models (MLLMs) become increasingly capable, an important question remains: Have we truly unlocked the potential of native MLLMs for VLN before introducing task-specific architecture? We present SimpleVLN, an architecture-preserving framework developed through studies of navigation formulation, data construction, and optimization. At the formulation level, SimpleVLN combines single-turn decision inputs with fixed-budget global-local memory to efficiently use navigation history without unbounded context growth, while action chunks enable efficient output of multiple primitive actions per model invocation. For data construction, we combine expert demonstrations with policy-dependent DAgger experience and develop a scalable synthesis pipeline that generates large-scale tasks for reinforcement learning. At the optimization level, a progressive IL-DAgger-RL pipeline advances from action imitation to task-level outcome optimization. Comprehensive experiments validate the effectiveness of these three aspects. We instantiate SimpleVLN across multiple MLLM backbones and model sizes, demonstrating its generality. SimpleVLN achieves 76.7% and 80.1% success rates on the R2R-CE and RxR-CE splits, respectively, substantially outperforming existing methods. These results show that the navigation capabilities of native MLLMs can be effectively unlocked without task-specific architectural designs.

関連論文

PR本紙発行元 EmplifAI