評価手法2026/8/19arXiv:2608.19425

SCAPE: シナリオ条件付きシミュレーション拡張ポリシー評価

SCAPE: Scenario-Conditioned Simulation-Augmented Policy Evaluation

実世界でのポリシー性能を、限られた実機データと大量のシミュレーションデータを組み合わせてシナリオごとに予測する評価フレームワークを提案した。

詳しい要約

1. どんなもの？

SCAPEは、ロボット学習ポリシーの実世界性能をシナリオ条件付きで予測する評価フレームワークである。限られた実世界データ（sim-and-realペア）と大規模なシミュレーションロールアウトを組み合わせ、シミュレーションのバイアスを補正し、不確実性を較正することで、特定のシナリオにおけるポリシーの性能を予測する。自動運転と四足歩行の速度追従タスクで検証されている。

2. 先行研究と比べてどこがすごい？

既存のsimulation-augmented手法は、限られた実世界ロールアウトと豊富なシミュレーションプロキシを組み合わせるが、初期条件や展開設定全体での平均性能に焦点を当てており、シナリオごとの変動を捉えられない。SCAPEはシナリオ条件付きの性能予測を導入し、シミュレーションと実世界のギャップを補正することで、より詳細で安全な展開判断を可能にする点が新しい。

3. 技術・手法の肝は？

SCAPEは、まずシミュレーションラベルのsim-to-realバイアスを補正し、その後、補正されたラベルと限られた実世界サンプルを用いてシナリオ条件付き性能予測モデルを訓練する。予測の不確実性はconformal predictionを用いて較正される。これにより、シナリオごとの性能予測と信頼区間を提供する。

4. どうやって有効だと検証した？

自動運転と四足歩行の速度追従タスクで検証。sim-to-sim研究では、シナリオレベルの予測誤差を、シーン条件付きニューラルベースラインと集計統計ベースラインと比較し、運転で4.9%/34.7%、四足で14.5%/27.7%削減。さらに、物理的なUnitree Go2に展開した速度追従ポリシーを評価し、テストサンプル効率の向上、較正された予測区間の狭さ、out-of-distributionシナリオへの一般化、きめ細かい展開戦略の実現を示した。

5. 議論はある？

要旨からは、SCAPEの限界や議論は明示されていない。ただし、シナリオ条件付き予測の精度はシナリオの定義やカバレッジに依存する可能性があり、実世界データの量が限られる場合の予測不確実性の扱いなどが今後の課題として考えられるが、要旨には記載がない。

6. 次に読むべき論文は？

要旨で参照されている関連手法は、simulation-augmented methods、scene-conditioned neural baselines、aggregate statistical baselines、conformal predictionである。次に読むべき論文としては、これらの手法の詳細を扱った論文や、sim-to-real transfer、policy evaluationの分野の定番論文が挙げられる。具体的には、conformal predictionの基礎論文や、sim-to-real gapを扱う研究が考えられるが、要旨からは特定の論文名は不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Dijie Zhu, Seunghun Oh, Ruopeng Huang, Zhiyu Huang, Jiaqi Ma, Chen Tang

分類: cs.RO, cs.AI, cs.LG

原文アブストラクト

Reliable performance evaluation is a central bottleneck for deploying robot-learning policies in real-world conditions. Real-world testing is faithful but costly and difficult to scale, whereas simulation-based testing scales easily but is inevitably biased by the sim-to-real gap. Existing simulation-augmented methods combine limited real-world rollouts with abundant simulation proxies, but focus on performance averaged over initial conditions and deployment settings. Such population-level averages obscure scenario-specific variation and provide limited guidance about when and where a policy can be safely deployed. We propose SCAPE, a scenario-conditioned simulation-augmented policy evaluation framework that predicts scenario-conditioned real-world policy performance using limited paired sim-and-real samples and large-scale simulation rollouts. SCAPE corrects sim-to-real bias in simulation labels before training the prediction model and calibrates prediction uncertainty through conformal prediction. We validate SCAPE on autonomous driving and quadruped velocity tracking. In sim-to-sim studies, SCAPE reduces scenario-level prediction error by 4.9%/34.7% (driving) and 14.5%/27.7% (quadruped) relative to scene-conditioned neural and aggregate statistical baselines on average. We further evaluate a velocity-tracking policy deployed on a physical Unitree Go2. SCAPE also improves testing sample efficiency, produces narrower calibrated prediction intervals, generalizes better to out-of-distribution scenarios, and enables fine-grained deployment strategies.

arXivで原文を読む →arXiv概要ページ

← 論文一覧