方策評価2026/10/13arXiv:2610.18699

RoboFQE: オフライン軌道からのロールアウト不要な視覚ロボット方策評価

RoboFQE: Rollout-Free Evaluation of Visual Robot Policies from Offline Trajectories

実機・シミュレータ・世界モデルによるロールアウトを必要とせず、オフラインのロボット軌道から視覚操作方策の割引期待リターンを推定する評価器RoboFQEを提案した。

詳しい要約

1. どんなもの？

- ロボットポリシーの評価を、実世界実行やシミュレータ、学習済みworld modelによるrolloutなしで行う手法。 - オフラインのロボット軌道から、ターゲットポリシーの割引期待リターンを推定する評価器RoboFQEを提案。 - 行動ポリシーの密度推定を必要とせず、fitted Q-evaluationと事前学習済みvision foundation model、学習されたterminal success annotationを組み合わせる。 - シミュレーションと実世界のmanipulationタスクで、正確な割引リターン推定とポリシーランキングの保持を確認。

2. 先行研究と比べてどこがすごい？

- 従来のrolloutベース評価は実世界実行、シミュレータ、学習済みworld modelを必要とし、インフラ要件が高い。 - simulatorやworld-model評価器は予測誤差が評価ホライズンで複合する問題がある。 - RoboFQEはrollout不要で、オフライン軌道のみから評価を可能にする。 - 特に長ホライズンmanipulationタスクで、video world-model評価器が自己回帰予測誤差で劣化するのに対し、RoboFQEは正確な推定とランキング保持を示す。

3. 技術・手法の肝は？

- off-policy evaluation (OPE) をロボットポリシー評価に適用。 - fitted Q-evaluationを用い、行動ポリシー密度の推定を回避。 - 事前学習済みvision foundation modelを視覚エンコーダとして利用。 - 学習されたterminal success annotationを導入し、ground-truth rewardラベルなしでの評価を可能にする。 - これにより標準OPEベンチマークと連続制御視覚manipulationのギャップを埋める。

4. どうやって有効だと検証した？

- シミュレーションおよび実世界のmanipulationタスクで制御実験を実施。 - RoboFQEが正確な割引リターン推定を生成し、ポリシーランキングを保持することを確認。 - 長ホライズンmanipulationタスクで、video world-model評価器が自己回帰予測誤差で劣化するのに対し、RoboFQEが有効であることを示す。 - アブレーション実験で、事前学習済みvision encoderがfrom-scratch代替より大幅に優れ、特に長ホライズンで顕著であること、学習されたterminal success annotationがground-truth rewardラベルなしでもわずかな精度低下で評価を可能にすることを示す。

5. 議論はある？

- 要旨からは、手法の限界や失敗ケース、計算コスト、一般化可能性に関する議論は明記されていない。 - アブレーション結果から、事前学習済みvision encoderの重要性とterminal success annotationの有効性が示唆される。 - 長ホライズンタスクにおけるvideo world-model評価器の劣化が対比として議論されている。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究: rollout-based robot-policy evaluation methods, simulator evaluators, learned world-model evaluators, video world-model evaluators, fitted Q-evaluation, off-policy evaluation (OPE) benchmarks。 - 関連手法として、off-policy evaluationの標準手法やvision foundation modelを活用したロボット学習評価が挙げられる。 - 同分野の定番として、off-policy evaluation (OPE) や fitted Q-evaluation の原論文を読むことが推奨される。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yunfu Deng, Sangwoo Shin, Brahma S. Pavse, Josiah P. Hanna

分類: cs.RO

原文アブストラクト

Evaluating robot policies before deployment typically requires producing new trajectories through real-world execution, simulators, or learned world models. These rollout-based approaches impose infrastructure requirements; simulator and world-model evaluators additionally face prediction errors that can compound over the evaluation horizon. In this paper, we study off-policy evaluation as an alternative to rollout-based robot-policy evaluation methods. Specifically, we introduce RoboFQE, an evaluator that estimates the discounted expected return of a target policy from offline robot trajectories without estimating a behavior-policy density, combining fitted Q-evaluation with a pretrained vision foundation model and learned terminal success annotation to bridge the gap between standard OPE benchmarks and continuous-control visual manipulation. Controlled experiments across simulated and real-world manipulation tasks show that RoboFQE produces accurate discounted-return estimates and preserves policy rankings even on long-horizon manipulation tasks where video world-model evaluators are degraded by autoregressive prediction errors. Ablation experiments show that pretrained vision encoders substantially outperform from-scratch alternatives, particularly on long-horizon tasks, and that learned terminal success annotation enables evaluation without ground-truth reward labels with only slight reduction of accuracy.

arXivで原文を読む →arXiv概要ページ

← 論文一覧