モデルミスマッチ下での計画の認証：乏しいデータからの到達可能性に関する三難問題

本研究は、シミュレーションから実機へのポリシー適用時、名目ダイナミクスと実機のモデル誤差が存在する状況で、固定制御シーケンス（学習ポリシーが生成するアクションチャンクなど）の実行前認証（pre-execution certification）を行う問題を扱う。観測データが少数の孤立した1ステップ遷移のみである場合、認証の健全性（soundness）とチューブ幅の有限性、モデル誤差の非制約性の間に三律背反（trilemma）が存在することを示す。提案手法ForeReachは、誤差の成分ごとのLipschitz boundを仮定し、集合帰属包絡（set-membership envelope）を構築してzonotopic reachable tubeを伝播させ、安全でない集合を避けることを認証する。

先行研究では、モデル誤差の分布や境界を事前に仮定し、シミュレーションで学習したポリシーをそのまま実機に適用することが多かったが、観測データが少ない場合の認証の限界を理論的に明らかにした点が新しい。特に、観測されていない状態入力領域では誤差が任意に大きくなり得るため、決定論的認証器が健全であるためには認証を拒否するか、チューブ幅が任意に大きくなることを示した。また、データサポート外での軌道包含を失うと較正ベースラインが狭いままになる問題に対し、提案手法はサポート外のシーケンスを認証せず、関連データと障害物クリアランスが十分な場合に認証を回復する点が優れている。

手法の肝は、モデル誤差の成分ごとのLipschitz boundを利用して、観測データから誤差の集合帰属包絡を構築し、それをzonotopeで伝播させること。具体的には、観測された遷移ペアが宣言されたLipschitz boundと矛盾しないことを確認し、誤差の取り得る範囲を包絡する。その後、制御シーケンスに沿ってreachable tubeをzonotopeとして計算し、各時刻の射影が安全でない集合を避け、かつ認証領域内に留まる場合のみ認証する。理論的には、モデル誤差の滑らかさと有界性の仮定の下で、計画依存の射影幅の下界を導出し、三律背反を証明する。

2つのベンチマークシステムで検証した。較正ベースライン（calibration baselines）はデータサポート外で軌道包含を失った後も狭いままであるのに対し、提案手法はサポート外のシーケンスを認証せず、関連するターゲットデータと十分な障害物クリアランスが利用可能な場合に認証を回復することを示した。具体的な数値結果は要旨からは不明だが、認証の健全性と幅の有限性のトレードオフを実証した。

要旨からは、提案手法はLipschitz boundの宣言に依存しており、観測データはその宣言を反駁できるが、観測されていない場所では確立できないという限界がある。また、三律背反により、モデル誤差の非制約的な振る舞いを許すと、有限の射影幅で軌道包含を保証することは不可能である。これは、データが乏しい状況での認証の本質的な困難さを示している。さらに、提案手法は固定制御シーケンスに限定されており、フィードバックポリシー全体の認証には拡張が必要かもしれない。

要旨で参照されている関連研究として、sim-to-real transfer、reachability analysis、set-membership estimation、zonotope-based reachable set computation、calibration of model error boundsなどが挙げられる。具体的には、モデル誤差のLipschitz boundを推定する手法や、データ駆動のreachability analysisに関する論文を読むとよい。また、三律背反の理論的結果を踏まえ、確率的認証やデータ収集戦略の最適化に関する研究も関連する。