日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
VLAarXiv:2610.12914

OGPO: 復帰可能なVision-Language-Actionモデルのためのオフライン目標条件付き方策最適化

OGPO: Offline Goal-conditioned Policy Optimization for Recoverable Vision-Language-Action Models

シェア:XThreadsFacebookLINEはてブBluesky

VLAモデルの事後学習を、軌道レベルの模倣から意味的キー状態への到達可能性学習へと転換するオフライン目標条件付き方策最適化フレームワークを提案し、オンライン対話なしで外乱からの復帰能力と堅牢性を向上させた。

詳しい要約

1. どんなもの？

- Vision-language-action (VLA) モデルの post-training 手法 - 従来の trajectory-level supervised imitation ではなく、offline demonstrations を活用 - 提案手法 OGPO: Offline Goal-conditioned Policy Optimization - 目的: 実行がデモ軌道から逸脱した際にタスク進捗状態へ回復できる recoverable VLA の実現 - オンライン相互作用を必要とせず、offline データのみで学習

2. 先行研究と比べてどこがすごい？

- 従来の VLA post-training は trajectory-level supervised imitation が主流 - 従来法は各ステップで expert action を再現するよう学習し、デモ固有の action path に偏る - 実行がデモ軌道から外れると回復への guidance が限定的 - OGPO は trajectory-level action imitation から key-state reachability learning へ転換 - 追加の online interaction なしで、off-demonstration 状態からの goal 到達能力を獲得

3. 技術・手法の肝は？

- offline demonstrations を単なる step-wise action labels として扱わない - 代わりに semantic key states で trajectory を適応的に relabel - goal-conditioned process rewards を構築 - これらの task-progress states への到達を目的に policy を最適化 - これにより key-state reachability learning を実現

4. どうやって有効だと検証した？

- LIBERO と MetaWorld で実験 - 標準的な supervised fine-tuning と比較し、VLA policy 性能が一貫して向上 - LIBERO-Plus での評価 - 提案ベンチマーク LIBERO-ReAct (mid-execution perturbation benchmark) での評価 - distribution shifts と recoverable off-demonstration states 下で、より強い robustness と goal-directed recoverability を示す

5. 議論はある？

- 要旨からは不明 - 限界や失敗事例、計算コスト、key states の選定基準などは記述されていない

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究: trajectory-level supervised imitation を用いる VLA post-training - 関連手法: supervised fine-tuning - ベンチマーク: LIBERO, MetaWorld, LIBERO-Plus, LIBERO-ReAct - 同分野の定番: Vision-Language-Action (VLA) モデル、offline reinforcement learning、goal-conditioned policy optimization

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xule Gao, Xi Wang, Zehua Zang, Rui Wang, Changwen Zheng, Chuxiong Sun

分類: cs.AI

原文アブストラクト

Vision-language-action (VLA) models have shown strong promise in robotic manipulation, yet their post-training still predominantly relies on trajectory-level supervised imitation over robot demonstrations. While effective for learning feasible actions, this paradigm supervises policies to reproduce expert actions at each step, biasing them toward demonstration-specific action paths and providing limited guidance for recovering toward task-progress states once execution deviates from demonstrated trajectories. To address this limitation, we propose OGPO, an Offline Goal-conditioned Policy Optimization framework for recoverable VLA post-training. Instead of treating offline demonstrations merely as step-wise action labels, OGPO adaptively relabels trajectories with semantic key states and constructs goal-conditioned process rewards to optimize the policy for reaching these task-progress states. In this way, OGPO shifts VLA post-training from trajectory-level action imitation to key-state reachability learning, enabling policies to acquire a more robust ability to complete goal states from feasible off-demonstration states without requiring additional online interaction. Experiments on LIBERO and MetaWorld show that OGPO consistently improves VLA policy performance over standard supervised fine-tuning. Moreover, evaluations on LIBERO-Plus and our proposed LIBERO-ReAct, a mid-execution perturbation benchmark, further demonstrate that OGPO achieves stronger robustness and goal-directed recoverability under distribution shifts and recoverable off-demonstration states.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI