VLMはネイティブな行動モデルである：明示的行動空間グラウンディングによる操作能力の解放

- 本論文は、pretrained VLM をロボットマニピュレーションの汎用ポリシーとして活用するための EASG を提案する。 - EASG は Explicit Action-Space Grounding の略で、VLM の視覚・空間・推論能力を連続行動空間に直接結びつける。 - これにより、robot-action pretraining や追加の action module なしで、VLM が実行可能なロボット行動を生成できる。 - zero-shot manipulation と、同一の連続行動空間での fine-tuning の両方を可能にする。

- 従来の VLA モデルは unified trainable policy を提供するが、learned action tokens、action heads、action experts を導入し、その意味を robot data pretraining から学習する必要がある。 - 一方、modular foundation-model-based manipulation は pretrained VLM の zero-shot 能力を活かせるが、外部の planning/control scaffold に依存し、end-to-end trainable な unified continuous-action policy ではない。 - EASG はこれら二つのパラダイムを橋渡しし、VLM の native textual generation interface をそのまま行動生成に使う点が新しい。 - robot-action pretraining や追加 action module を不要にしつつ、zero-shot と fine-tuning の両方を同一インタ…

- tool center point (TCP)-centered action frame を wrist camera observation に投影する。 - 行動を VLM の native textual generation interface の形式で表現する。 - これにより、連続ロボット行動空間の意味が VLM の知覚コンテキスト内で直接観測可能になる。 - pretrained VLM は既存の visual-spatial reasoning 能力を用いて、実行可能なロボット行動を直接生成する。 - 同じ action interface が robot trajectories による直接 fine-tuning をサポートし、EASG で引き出した能力を超えて継続的に改善できる。

- zero-shot manipulation と、物体位置・カテゴリ・ロボット embodiment をまたぐ generalization を実証した。 - 同一の連続行動空間における効果的な fine-tuning も示した。 - これらの結果から、適切な action interface があれば pretrained VLM 自体が native action model として機能することを示した。 - 具体的な実験設定・ベースライン・評価指標は要旨からは不明。

- EASG は VLA と modular 手法の利点を統合し、VLM を native action model として使える可能性を示す。 - zero-shot と fine-tuning の両立、および embodiment をまたぐ generalization が主張されている。 - 一方で、限界・失敗ケース・計算コスト・安全性・実世界での頑健性に関する議論は要旨からは不明。

- 要旨で参照/比較されている研究として、vision-language-action (VLA) models、modular foundation-model-based manipulation methods が挙げられる。 - 関連手法として、learned action tokens、action heads、action experts を用いる VLA 研究、および external planning/control scaffolds を用いる modular 手法を読むべき。 - 同分野の定番として、RT-1、RT-2、OpenVLA などの VLA モデルや、CLIP、LLaVA などの VLM 基盤モデルも参考になる。