arXiv論文「Spotter」、実行モデルとVLMの役割を分離する方式を提案

何が起きたか

arXivに2026-09-29付で投稿された論文「Spotter」は、身体化モデルが連続的に実行を主導し、VLMが軽量スクリーンで誤りを検出した場合にのみ介入して修正する枠組みを示した。著者らは、従来のVLM主導型と異なり、VLMを常時の計画担当ではなく、失敗時の反省と修正に使う設計を採った。QwenまたはGPTをVLMとして用いた実験で、RoboCasa、RoboTwin 2.0のHard設定、実機ロボットで改善が報告されている。

詳細

論文は、VLM主導の既存手法ではVLMが全ステップを計画し、身体化モデルを道具として呼び出すため、VLMが「critical path」に入ると整理している。これに対しSpotterは、身体化モデルが実行を担当し続け、VLMは並行して動作し、軽量なローカルスクリーンで誤りが確認されたときだけ介入して反省・修正し、制御を戻す構成である。 評価では、GPTをVLMに使った場合、Cosmos Policyとπ_0.5がRoboCasaでそれぞれ5.6ポイント、7.5ポイント改善した。RoboTwin 2.0のHard設定ではπ_0.5が47.2%から57.0%へ、実機ロボットでは53%から83%へ上昇した。Qwenを使った場合、成功したエピソードの所要時間は身体化モデル単独より13〜16秒長いだけで、同じモデルを使うVLM主導ベースラインより約70%短かった。

Key Facts

本紙の見方

今回の論文の新しさは、VLMを「常時の司令塔」に置かず、身体化モデルを先行させたうえで、誤りが確認された場面だけVLMが反省と修正を担う点にある。これは、VLMが全工程を握る既存の枠組みを反転させた設計であり、同時に失敗後の修復をどこで担うかという問題を正面から扱っている。実験でRoboCasa、RoboTwin 2.0、実機ロボットの3つに改善が出ているため、単一ベンチマークの工夫にとどまらず、実行系と認識・言語系の分業を再定義する提案とみられる。 本紙の関連記事はないため連続報道としての比較はしないが、論文の主張は「成功デモだけで学習した身体化モデルは、自身の失敗からは修復を学びにくい」という前提に立つ。ここで重要なのは、失敗後の修復能力をモデル単体に期待するのではなく、episode historyやtextを含むより広い情報を見られるVLMを外付けの反省装置として使う点である。つまり、入力が狭い実行モデルと、情報量の多いVLMを分けることで、学習データの偏りを運用時の監視で補う構造になっている。 業界構造への含意としては、ロボット知能の中心が「一つの巨大モデルが全部やる」方向から、「実行器＋監視器＋局所スクリーン」の組み合わせに移る可能性がある。これにより、ロボット本体の制御遅延を抑えながら、言語・視覚モデルの推論コストを失敗時に限定する設計が取りやすくなる。一方で、どの誤りをスクリーンが検出するのか、介入の閾値をどう置くのか、修正後の制御移譲をどう安定化するのかは未解決である。QwenとGPTの双方で改善したが、モデル差、タスク差、実機条件差がどこまで一般化するかは、追加の検証が必要だとみられる。

なぜ重要か

この提案は、ロボットの失敗対応を本体モデルだけで抱え込ませず、VLMを限定的に使うことで遅延と修正能力の両立を狙う点に意味がある。特に、RoboCasa、RoboTwin 2.0、実機ロボットで改善が示されたため、研究段階でも「失敗時のみ介入する反省層」が実運用に近い構成として検討対象になりうる。