日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2611.26196

EmbodyAgent: 蒸留・SFT・RLによる身体性VLMエージェントの事後学習

EmbodyAgent: Post-Training Embodied VLM Agents via Distillation, SFT, and RL

シェア:XThreadsFacebookLINEはてブBluesky

ブラックボックス教師からのデータ合成、SFTによる蒸留、オンラインRLを組み合わせ、オープンウェイトVLMをロボット操作エージェントへと事後学習するフレームワークを提案。LIBERO Spatialで成功率が0/100から14/100へ向上。

詳しい要約

1. どんなもの?

- オープンウェイト VLM をロボット操作エージェント(RUA)へ変換する end-to-end の post-training フレームワーク EmbodyAgent を提案。 - VLM が tool interface 経由で制御コードを書いて実行する closed-loop 設定を対象とする。 - 3 つのパイプラインから構成:black-box データ合成、SFT による蒸留、オンライン RL。 - 共通の primitive-free Python 実行 tool(生の視覚観測と 7 次元 end-effector 制御のみ)を用いる。

2. 先行研究と比べてどこがすごい?

- 素のオープン VLM は interactive tool contract で完全に失敗することを示す。 - 強い frontier teacher は black-box endpoint としてのみ利用可能で、重みや token probability が得られない制約下で蒸留を行う。 - supervised imitation 単独では rollout distribution shift により性能が頭打ちになる問題に対し、RL を組み合わせる。 - 全段階で action decoder なし・interface shift なしの同一 tool を共有する点が特徴。

3. 技術・手法の肝は?

- black-box データ合成:teacher に forced think-then-code contract を課して問い合わせ、task success で trajectory をフィルタ。 - SFT:explanation-and-program のターゲットを vision と language 両エンコーダ学習可能な 9B VLM に蒸留。 - オンライン RL:student 生成 episode を group-relative advantage で最適化し、runtime-error にペナルティを課す outcome reward を使用。 - 実行 tool は生の視覚観測と 7 次元 end-effector 制御のみを公開。

4. どうやって有効だと検証した?

- LIBERO Spatial の 10 タスクで、disjoint state splits・greedy test-time decoding・training-only safeguards の厳密分離評価を実施。 - 100 test states の held-out success が base 9B VLM で 0/100、SFT 後 14/100、RL 後 84/100。 - training rollout success は 8.4% から 87.7% へ上昇。 - episode あたりの median model calls が 36 から 11 に減少。

5. 議論はある?

- 実行可能コードに対する outcome-based RL が自己強化的な runtime-error mode を誘発することを特定。 - failure-category monitoring と sampling-side curation protocol により訓練を安定化。 - 評価は LIBERO Spatial の 10 タスクに限定されており、他環境への一般化は要旨からは不明。

6. 次に読むべき論文は?

- LIBERO Spatial を用いた関連研究(LIBERO ベンチマーク論文)。 - VLM をロボットエージェント化する RUA 系の研究。 - code-as-policy 系の手法。 - group-relative advantage を用いる RL 手法(GRPO 系)。 - black-box teacher からの distillation に関する研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Wei Dai, Jinkun Liu, Jiayi Chen, Han Liu, Wenbo Ding, Shaolun Huang

分類: cs.RO

原文アブストラクト

Vision-language models (VLMs) can act as closed-loop robot-use agents (RUAs) by writing and executing control code through tool interfaces. However, turning an open-weight VLM into a high-performing embodied agent requires a complete post-training stack: out-of-the-box open VLMs fail completely at interactive tool contracts, strong frontier teachers are accessible only as black-box endpoints without exposed weights or token probabilities, and supervised imitation alone plateaus under rollout distribution shift. We present EmbodyAgent, an end-to-end post-training framework with three tightly coupled pipelines: (1) a black-box data synthesis pipeline that queries a strong teacher under a forced think-then-code contract and filters trajectories by task success; (2) an SFT pipeline that distills the explanation-and-program targets into an open-weight 9B VLM with both vision and language encoders trainable; and (3) an online RL pipeline that optimizes student-generated episodes via group-relative advantage with a runtime-error-penalized outcome reward. All three pipelines share one primitive-free Python execution tool exposing only raw visual observation and seven-dimensional end-effector control, with no action decoder and no interface shift across stages. Under a strictly separated evaluation protocol on ten LIBERO Spatial tasks (disjoint state splits, greedy test-time decoding, training-only safeguards), held-out success on 100 test states rises from 0/100 (base 9B VLM) to 14/100 (after SFT) and 84/100 (after RL), while training rollout success climbs from 8.4% to 87.7% and median model calls per episode drop from 36 to 11. We further identify a self-reinforcing runtime-error mode induced by outcome-based RL on executable code, and establish a failure-category monitoring and sampling-side curation protocol that stabilizes training.

関連論文

  1. 1パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  2. 2川崎重工業のロボット外販を報道新製品・発表
  3. 3Boston Dynamics、GlobalFoundriesでAtlasを試験へ 半導体製造で2027年初頭から半導体・GPU
  4. 4丸文、RealManのロボットアームやヒューマノイドを国内販売提携・買収
  5. 5NVIDIA、SC26で科学研究向けAIエージェントとHPC基盤を発表新製品・発表

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI