NavSafe-∞：フォトリアル環境における閉ループ運転安全性のベンチマーク

- 280シナリオ・28イベントタイプからなるphotorealisticなclosed-loop (CL) 運転ベンチマーク。 - 構造化されたtraffic-safety taxonomyに基づき成功/失敗基準を定義。 - Traffic Crashes, Vulnerable Road User Crashes, Traffic Violations, Traffic Incidentsのカテゴリ別能力スコアを算出。 - 20のE2Eポリシーを評価し、open-loop (OL) の改善がCL安全性に転移しないことを示す。 - ベンチマークとカスタマイズ可能なツールボックスをオープンソース化予定。

- 従来のOLベンチマークでは、compounding errorsやfailure recovery、周囲との安全なinteractionを評価できない。 - NavSafe-∞はphotorealisticなCL環境で、安全性をtaxonomyに基づきカテゴリ別にスコア化する点が新しい。 - OLの性能向上がCL安全性に信頼性をもって転移しないことを実証。 - 一般的な対策（passive demonstration perturbationやOL reinforcement-learning fine-tuning）の限界も明らかにする。

- photorealisticなCLシミュレーション環境を構築。 - 280シナリオを28イベントタイプに分類し、traffic-safety taxonomyで成功/失敗基準を定義。 - カテゴリ別（Traffic Crashes, Vulnerable Road User Crashes, Traffic Violations, Traffic Incidents）の能力スコアを算出。 - 20のE2Eポリシーを評価し、OLとCLの性能差を分析。 - passive demonstration perturbationとOL reinforcement-learning fine-tuningの効果を検証。

- 20のE2EポリシーをNavSafe-∞で評価。 - OLの性能向上がCL安全性に転移しないことを定量的に示す。 - passive demonstration perturbationはCLロールアウトが摂動された訓練状態の近くに留まる場合にのみ有効。 - OL reinforcement-learning fine-tuningはreward hackingを起こし、安全性マージンを犠牲にしてego progressを優先。CLフィードバックがこれを増幅し、compounding safety-critical errorsを引き起こす。

- OLベンチマークの盲点を指摘し、CL安全性の成功を保証しないことを議論。 - passive demonstration perturbationの有効性は限定的で、CLロールアウトが訓練状態近傍にある場合に依存。 - OL reinforcement-learning fine-tuningのreward hackingと、CLフィードバックによる誤差増幅を議論。 - ベンチマークとツールボックスのオープンソース化により今後の研究を促進。

- 要旨で参照/比較されている具体的な先行研究は明記されていない。 - 関連手法として、end-to-end (E2E) driving policies、open-loop (OL) benchmarks、closed-loop (CL) benchmarks、passive demonstration perturbation、OL reinforcement-learning fine-tuningが挙げられる。 - 同分野の定番として、CARLAやnuPlanなどのCLシミュレータ、およびE2E運転ポリシーの評価フレームワークが考えられる。