何が起きたか
arXivに2026年8月17日付で掲載された論文(識別番号2608.16978v1)は、ロボット操作のための新しいポリシー手法VLCP(Vision Language Control Policy Closed-Loop Code Replanning)を提案した。この手法は、フロンティアの視覚言語モデル(VLM)を凍結したまま、制御関数をPythonコードとして記述し、デモやファインチューニングを一切行わない。評価では、57タスクのMuJoCo/RoboVerseスイープで成功率35.1%を達成し、同一システムを1エピソードに1回だけクエリした場合の3.5%を約10倍上回った。
詳細
従来のVLMをロボットポリシーに変換する方法は、事前学習で見たことのない行動表現を出力するようにファインチューニングするのが一般的だが、VLCPは逆にVLMを凍結し、短いPython制御関数を書かせる。しかし、コードを一度書くだけではオープンループであり、既存の閉ループ手法は固定ポリシーの再試行やサブタスクの変更にとどまり、失敗したコード自体を書き換えることはなかった。VLCPは、エピソード内でKステップごとにVLMがマルチビューRGB、プロプリオセプティブ状態、状態差分からシーンを再観察し、制御関数を書き換えることで、失敗が拡大する前に修正する。 評価では、プールされた成功率35.1%に対し、1エピソード1回のクエリでは3.5%で、その差は全シーンで信頼区間が重ならないほど明確だった。この改善は、失敗した把持の27.3%がエピソード内で回復したことに起因する。オープンループではエピソード終了まで失敗が持ち越されるが、VLCPでは次の再計画で再観察され修正される。また、入力トークンの中央値84%がキャッシュにヒットし、エピソードあたり約10回のコンパクトなクエリで済む。再計画中に書かれた制御ブロックは、後のプロンプトで再利用されるクロスエピソードのスキルライブラリに蓄積される。
Key Facts
| VLCPはVLMを凍結したまま、デモなし・ファインチューニングなしで制御コードを書く。 | [1] |
| VLCPは57タスクのMuJoCo/RoboVerseスイープで成功率35.1%を達成。 | [1] |
| 同一システムを1エピソード1回クエリした場合の成功率は3.5%。 | [1] |
| 成功率の差は約10倍で、全シーンで信頼区間が重ならない。 | [1] |
| 失敗した把持の27.3%がエピソード内で回復した。 | [1] |
| 入力トークンの中央値84%がキャッシュにヒットする。 | [1] |
| エピソードあたり約10回のコンパクトなクエリで動作する。 | [1] |
| 再計画で書かれた制御ブロックはクロスエピソードのスキルライブラリに蓄積される。 | [1] |
なぜ重要か
VLCPは、VLMの推論能力を保ったままロボットポリシーを生成する新しいアプローチを示し、ファインチューニング不要で高い成功率を達成した。エピソード内でのコード再計画により、失敗を早期に修正できる点は、ロボット操作の信頼性向上に寄与する可能性がある。