Fast-VLA: ロボット操作のための一度だけ考えるVLA

- Vision-language-action (VLA) policies の新手法 Fast-VLA を提案 - タスク理解はロボット状態より変化が遅い点に着目 - エピソードごとに frozen 4B VLM を一度だけ呼び出し、指示と初期視覚を固定の multi-layer key-value task memory として文脈化 - 実行中は軽量な online actor が time- and arm-indexed queries と現在の視覚・固有感覚フィードバックを融合し action queries を形成 - 固定メモリからタスク文脈を検索し、foundation model を再実行せず action chunks を予測

- 従来の VLA は数十億パラメータモデルを feedback loop 内に置き、action chunk 予測ごとにタスク文脈を再計算 - Fast-VLA は foundation model をエピソードに一度だけ実行し、実行時は再実行しない - 同一ハードウェア上の3つの continually conditioned baselines と比較し、RoboTwin の amortized policy inference time を 10.9-17.1x 削減 - post-prefill online resident memory は 1.22 GiB に抑える - 高い成功率を維持しつつ推論コストを大幅削減

- frozen 4B VLM をエピソードごとに一度呼び出し、指示と初期視覚を固定の multi-layer key-value task memory に変換 - 軽量 online actor が learned time- and arm-indexed queries と現在の視覚・proprioceptive feedback を融合し action queries を生成 - action queries が固定メモリからタスク文脈を検索 - foundation model を再実行せず action chunks を予測 - 閉ループ制御を維持しつつタスク文脈は一度だけ確立

- RoboTwin 2.0 Clean で 92.46%、Randomized で 92.40% の成功率 - LIBERO で 95.95%、LIBERO-Plus で 79.11% の成功率 - 同一ハードウェア上の3つの continually conditioned baselines と比較し、amortized policy inference time を 10.9-17.1x 削減 - post-prefill online resident memory 1.22 GiB を確認 - task-memory swaps により actor が episode-matched task memory に依存することを示す

- タスク文脈は一度確立すればよく、実行中の閉ループ制御は応答性を保てることを示す - task-memory swaps の結果から actor が episode-matched task memory に依存することが示唆される - 限界や失敗事例、一般化範囲についての詳細は要旨からは不明 - メモリ固定化による動的環境変化への対応可否は要旨からは不明

- 要旨で参照/比較されている continually conditioned baselines の具体的名称は要旨からは不明 - Vision-language-action (VLA) policies の代表的手法 - RoboTwin 2.0、LIBERO、LIBERO-Plus の関連研究 - frozen VLM と key-value memory を用いる手法 - 詳細は project page: https://garfield-kh.github.io/FastVLA を参照