制約学習/逆強化学習2026/10/7arXiv:2610.09350

未知の制約を安全に学習する最適性と反事実正則化

Learning Unknown Constraints without Unsafe Data via Optimality and Counterfactual Regularization

局所最適な専門家デモと学習したダイナミクスから、危険な探索なしに未知の制約を復元するCF-KKTフレームワークを提案。

詳しい要約

1. どんなもの？

- 未知の制約を、制約を満たす局所最適な専門家デモンストレーションから学習するフレームワーク。 - 既存のCIOCとICRLの利点を組み合わせ、既知のダイナミクスや危険な探索を必要としない。 - 学習した微分可能なダイナミクスモデルを用いて、KKT条件に基づく最適性条件をデモンストレーションに課す。 - さらに、報酬改善的な反事実行動を生成し、制約がない場合に好まれる行動を明らかにして合成不可行データを得る。 - 制約パラメータ化が既知の場合、同じ枠組みでCIOCベースのパラメータ復元が可能。 - 高次元ロボット制御タスクで、オフラインICRLベースラインより安全性とデータ効率が向上。

2. 先行研究と比べてどこがすごい？

- CIOCは最適性条件（KKT条件）を利用するが、既知のダイナミクスと構造化された制約表現を仮定する。 - ICRLは複雑な未知制約と未知の遷移ダイナミクスに対応できるが、オンライン探索を必要とし、その過程で危険な制約違反が発生する可能性がある。 - 提案手法は、学習したダイナミクスと局所最適デモンストレーションを活用し、既知のダイナミクスや追加の危険な探索を必要とせずに未知制約を復元する。 - これにより、CIOCのデータ効率と安全性の利点と、ICRLの柔軟性を組み合わせる。 - 高次元ロボット制御タスクで、最先端のオフラインICRLベースラインと比較して安全性とデータ効率が改善。

3. 技術・手法の肝は？

- 局所的に学習された微分可能なダイナミクスモデルを使用し、デモンストレーションにKKTに触発された最適性条件を直接課す。 - 学習したダイナミクスを用いて、デモンストレーション近傍で報酬改善的な反事実行動を生成し、未知の制約がない場合に好まれる行動を明らかにする。 - これにより合成不可行データを提供し、制約学習に利用する。 - 制約パラメータ化が既知の場合、同じ学習ダイナミクスフレームワークでCIOCベースのパラメータ復元を可能にし、ダイナミクス誤指定に対する感度を特徴付ける。 - ニューラル制約表現を学習する。

4. どうやって有効だと検証した？

- 高次元ロボット制御タスクで評価。 - 最先端のオフラインICRLベースラインと比較して、安全性とデータ効率の改善を実証。 - 具体的なタスク名や評価指標は要旨からは不明。

5. 議論はある？

- ダイナミクス誤指定に対する感度を特徴付けるが、具体的な限界や議論の詳細は要旨からは不明。 - 制約パラメータ化が既知の場合のCIOCベースの復元について言及。 - オンライン探索を必要としないため安全性が向上するが、他の制約や環境への一般化については要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照されている研究：Constrained Inverse Optimal Control (CIOC)、Inverse Constrained Reinforcement Learning (ICRL)。 - 比較対象としてオフラインICRLベースラインが挙げられているが、具体的な論文名は要旨からは不明。 - 関連手法としてKarush-Kuhn-Tucker (KKT) 条件、Learning from Demonstrations (LfD) が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhouyu Zhang, Chih-Yuan Chiu, Glen Chou

分類: cs.RO, cs.LG

原文アブストラクト

Learning from demonstrations (LfD) provides a framework for inferring unknown constraints from locally optimal, constraint-satisfying expert behavior. Existing approaches largely fall into two paradigms, constrained inverse optimal control (CIOC) and inverse constrained reinforcement learning (ICRL). CIOC exploits optimality conditions such as the Karush--Kuhn--Tucker (KKT) conditions but typically assumes known dynamics and structured constraint representations. Meanwhile, ICRL accommodates complex unknown constraints and unknown transition dynamics but often requires extensive online exploration, during which unsafe constraint violations may occur. In this work, we introduce Counterfactual KKT (CF-KKT), a constraint learning framework that leverages learned dynamics and locally optimal demonstrations to recover unknown constraints without requiring known dynamics or additional risky exploration, thereby combining the data efficiency and safety advantages of CIOC with the flexibility of ICRL. First, we use a locally learned differentiable dynamics model to impose KKT-inspired optimality conditions directly on the demonstrations. Second, we use the learned dynamics to generate reward-improving counterfactual behaviors near the demonstrations, revealing behaviors that would be preferable in the absence of the unknown constraint and thus providing synthetic infeasible data. When the constraint parameterization is known, the same learned-dynamics framework enables direct CIOC-based parameter recovery, and we characterize its sensitivity to dynamics misspecification. Across high-dimensional robotic control tasks, our approach learns neural constraint representations with improved safety and data efficiency relative to state-of-the-art offline ICRL baselines.

arXivで原文を読む →arXiv概要ページ

← 論文一覧