何が起きたか
arXiv掲載論文「EmbodyAgent: Post-Training Embodied VLM Agents via Distillation, SFT, and RL」は2026年11月19日、VLMをロボット操作エージェントへ事後学習する枠組みを提示した。LIBERO Spatialの10タスクにおける100件のテスト状態で、成功数は基盤となる9B VLMの0/100からSFT後14/100、RL後84/100に増えた。学習時のロールアウト成功率は8.4%から87.7%に上がり、エピソード当たりのモデル呼び出し回数の中央値は36回から11回に減った。
詳細
枠組みは、強力な教師モデルに「考えてからコードを書く」形式で応答させ、タスク成功軌跡を選別するデータ合成、説明とプログラムをオープンウェイト9B VLMに蒸留するSFT、学生モデルが生成したエピソードを最適化するオンラインRLの3段階で構成する。教師モデルはブラックボックスのエンドポイントとして利用し、SFTでは視覚・言語エンコーダーの双方を学習可能にする。 全段階で、プリミティブ動作を用意しないPython実行ツールを共有する。ツールに渡すのは生の視覚観測と7次元のエンドエフェクター制御で、アクションデコーダーを設けず、段階間でインターフェースを変更しない。評価は状態分割を分離し、テスト時は貪欲デコード、学習時のみの安全策を用いる。論文は、実行可能コードに対する結果報酬型RLが実行時エラーを自己強化する問題も示し、失敗カテゴリの監視とサンプリング側のデータ選別による安定化策を提示した。
Key Facts
| EmbodyAgentは、ブラックボックス教師によるデータ合成、SFT、オンラインRLの3つのパイプラインからなる。 | [1] |
| 評価対象はLIBERO Spatialの10タスクで、100件のテスト状態における成功数は基盤9B VLMが0/100、SFT後が14/100、RL後が84/100だった。 | [1] |
| 学習ロールアウトの成功率は8.4%から87.7%に上がり、エピソード当たりのモデル呼び出し回数の中央値は36回から11回に減った。 | [1] |
| 各段階で共有するPython実行ツールは、生の視覚観測と7次元のエンドエフェクター制御を扱い、アクションデコーダーを持たない。 | [1] |
| 結果報酬型RLによる実行時エラーの自己強化を確認し、失敗カテゴリの監視とサンプリング側の選別を安定化策として示した。 | [1] |
本紙の見方
本論文の結果で目を引くのは、SFT後の14/100からRL後の84/100への差である。少なくともこの評価条件では、教師の説明・プログラムを模倣させるだけでなく、学生モデル自身の実行結果を使う段階が成績に大きく関わった。ただし、各段階の数値は同じ枠組み内での評価であり、他のロボットやタスクにも同じ改善幅が出るとは示していない。 設計上の要点は、データ合成、SFT、RLを別々の操作形式にせず、同一のPythonツールでつないだことにある。生の視覚情報から制御コードを実行する接点が一貫しているため、学習時に覚えたツールの使い方と、ロールアウト時の操作形式のずれを抑える構成と読める。一方、ツールが担う制御は7次元のエンドエフェクター指令であり、結果をそのまま多様なロボットの身体や操作系に移せることを意味しない。 この枠組みは、オープンウェイトモデルを実機操作に結びつける際、重みを公開しない教師モデルの能力を軌跡として取り込み、さらに学生自身の試行で調整する流れを示す。教師の内部重みやトークン確率にアクセスできない場合でも、成功軌跡を使った蒸留が可能だという設計である。ただし、教師への問い合わせで得られる軌跡の質と量が学習の入口になるため、選別基準や失敗軌跡の扱いは再現性を左右する論点となる。 また、実行コードの成否を報酬にする方式には、タスクの成否より実行時エラーを繰り返す方向へ学習が進む危険があると論文は指摘する。失敗カテゴリの監視とサンプリング側の選別を併用した点は、報酬設計だけでなく学習データの流れも制御対象にするものだ。次に確認すべきなのは、LIBERO Spatial以外のタスクや実機での再現性、エラー分類と選別の具体的な効果、教師問い合わせの条件である。提示された評価は10タスク・100テスト状態に限られており、広い環境での汎化や安全性を裏づけるものではない。
なぜ重要か
オープンウェイトVLMをロボット操作に用いる開発者にとって、教師の重みを得られなくても、成功軌跡の蒸留と学生自身のオンラインRLを組み合わせる設計例となる。論文の評価はLIBERO Spatialの10タスクに限られるため、実機や別環境への適用可能性はこの結果だけでは判断できない。
