日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
VLAarXiv:2611.06918

ピクセルから行動へ：ネイティブな視覚-言語-行動ポリシーに向けて

From Pixels to Actions - Towards Native Vision-Language-Action Policies

シェア:XThreadsFacebookLINEはてブBluesky

視覚エンコーダを排除し、画像パッチを言語と共にバックボーン内で進化させて行動生成に直接利用するNEO-VLAを提案。操作タスクでエンコーダベース手法より強く頑健な制御を実現した。

詳しい要約

1. どんなもの？

- 視覚と言語と行動を統合する Vision-Language-Action (VLA) モデルの新しい枠組み - 従来の「視覚エンコーダで圧縮してから行動推論」という前提を疑問視 - エンコーダを持たない構造 (encoder-free) の NEO-VLA を提案 - 画像を軽量な patch convolutional layers で token 化し、backbone 内で言語と共に進化させる - flow-matching action expert が異なる深さの instruction-conditioned 視覚表現を利用 - 操作 (manipulation) タスクにおける制御の頑健性向上を狙う

2. 先行研究と比べてどこがすごい？

- 従来の VLA は視覚エンコーダで知覚を固定の視覚表現に圧縮する構造が主流 - NEO-VLA はエンコーダを排除し、視覚計算を backbone 内で言語と共に発展させる点が新しい - 制御された比較で native 構造が encoder-based の対応手法を上回る - full fine-tuning では差は縮小するが消えず、単なるスケール拡大でも差は埋まらない - layer-wise probing で行動に重要な信号が最終視覚表現より前でピークになることを示す - 多様な manipulation 設定や distribution shifts でより強く頑健な制御を達成

3. 技術・手法の肝は？

- 構造的に encoder-free な VLA フレームワーク NEO-VLA - 画像は軽量な patch convolutional layers で token 化 - token 化された視覚情報が backbone 内で言語と共に jointly に進化 - flow-matching action expert を採用 - action expert は異なる深さの instruction-conditioned 視覚表現を参照可能 - 固定された最終視覚表現ではなく、計算階層全体の視覚表現へのアクセスを可能にする設計

4. どうやって有効だと検証した？

- 制御された比較で native 構造と encoder-based 対応手法を比較 - full fine-tuning の効果とスケール拡大の効果を検証 - layer-wise probing により行動に重要な信号の深さ方向の分布を分析 - 多様な manipulation 設定および distribution shifts 下で制御性能と頑健性を評価 - 具体的なデータセット名やベンチマーク名は要旨からは不明

5. 議論はある？

- 知覚を固定の視覚エンドポイントに圧縮する従来前提への根本的問いかけ - 行動に重要な局所幾何、境界、depth、微妙な状態変化が抽象化で失われうる点を指摘 - 行動ポリシーは固定視覚出力を継承すべきか、進化する視覚計算に直接アクセスすべきかという議論 - 実験結果は計算階層全体の視覚表現へのアクセスが embodied control に有益であることを示唆 - ただし具体的な限界や失敗事例、計算コストの議論は要旨からは不明

6. 次に読むべき論文は？

- 要旨で直接参照・比較されている個別研究名は記載なし - 関連手法として encoder-based VLA、flow-matching に基づく action expert、Vision-Language-Action モデル全般 - 同分野の定番として RT-2 や OpenVLA などの VLA 研究、および vision encoder を用いる一般的な VLM 系研究を次に読む候補として挙げられる

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Weichen Fan, Haiwen Diao, Penghao Wu, Siyuan Hu, Ziqi Huang, Tianqi Liu, Mingze Sun, Ziyi Wang, Zhongang Cai, Hanming Deng, Quan Wang, Lei Yang, Lewei Lu, Fangzhou Hong, Zhaoxi Chen, Dahua Lin, Ziwei Liu

分類: cs.CV

原文アブストラクト

Vision-language-action models are typically built on a simple premise: perception is first compressed by visual encoders, and action reasoning begins only afterwards. Yet manipulation often hinges on precisely the visual signals most vulnerable to this abstraction, e.g., local geometry, boundaries, depth, and subtle state changes. This raises a fundamental question: should action policies inherit a fixed visual endpoint, or directly access evolving visual computation? We introduce NEO-VLA, a structurally encoder-free vision-language-action framework. Images are tokenized by lightweight patch convolutional layers and evolve jointly with language throughout the backbone, allowing a flow-matching action expert to draw from instruction-conditioned visual representations at different depths. This simple change reveals a consistent pattern. Native architectures outperform encoder-based counterparts under controlled comparisons; full fine-tuning reduces but does not erase the gap, and additional scale alone cannot recover it. More strikingly, layer-wise probing shows that the action-critical signals often peak well before the final visual representation. Across diverse manipulation settings and distribution shifts, NEO-VLA consequently achieves stronger and more robust control. Together, these results suggest that embodied control benefits from access to visual representations across the computational hierarchy, rather than a fixed encoder output.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI