sensVLA: ホイールローダー自律制御のための空間接地型視覚-言語-行動モデル

本論文は、ホイールローダの自律制御のためのVision-Language-Action (VLA) アーキテクチャ sensVLA を提案する。Qwen3-2B Vision-Language Model (VLM) と、flow-matching velocity regression で学習する fully trainable transformer action expert を組み合わせる。BEV features を front/rear lidar から抽出し、専用の cross-attention pathway で action expert に直接入力する一方、VLM は front/rear RGB views を消費してタスク条件付きの意味的文脈を提供する。expert は longitudinal velocity, steering, body-frame displacement, arm rate, bucket rate の6次元行動を予測する。

先行研究と比べて、spatial grounding を言語推論から分離しつつ、意思決定時に両ストリームの相互作用を保つ設計が特徴。実世界の wheel loader データセットで、camera-only baseline と per-step で同等の性能を達成しつつ、loading centric scenarios で longitudinal velocity RMSE を28%削減、displacement error を9%削減。さらに camera stream が破損・除去された場合の性能低下が29%少なく、明示的な spatial grounding が精度と fault-tolerance を改善することを示す。

技術の肝は、BEV features を front/rear lidar の融合から抽出し、専用の cross-attention pathway で action expert に直接ルーティングする点。VLM は front/rear RGB views からタスク条件付き意味文脈を提供。action expert は fully trainable transformer で、flow-matching velocity regression により学習。予測する6次元行動は longitudinal velocity, steering, body-frame displacement, arm rate, bucket rate。

実世界の wheel loader データセットを用いて検証。camera-only baseline と比較し、aggregate per-step parity を達成。loading centric scenarios で longitudinal velocity RMSE を28%削減、displacement error を9%削減。camera stream の破損・除去時の性能低下が29%少ないことを示す。

議論は、明示的な spatial grounding が heavy equipment autonomy の精度と fault-tolerance を改善することを示唆。camera stream の破損・除去に対するロバスト性が向上。ただし、要旨からは他の議論や限界は不明。

要旨で参照/比較されている研究は camera-only baseline のみ。関連手法として Vision-Language-Action (VLA) モデル、flow-matching、BEV features、cross-attention などが挙げられる。次に読むべき論文は、これらの手法を扱った研究や、heavy equipment autonomy に関する VLA 応用論文が考えられるが、具体的な論文名は要旨からは不明。