オプション内適合Q評価：非階層データからの階層的方策評価

- 階層的方策の off-policy evaluation (OPE) 手法。 - 高レベル方策が temporally extended options を選択し、option が termination 条件まで primitive actions を生成する設定を対象。 - 既存データから追加の環境相互作用なしに target policy の期待リターンを推定する。 - 提案手法は Intra-Option Fitted Q-Evaluation (IO-FQE)。 - augmented state-option space で価値関数を推定する。

- 既存の主手法は option レベルでの per-decision importance sampling。 - option-annotated trajectories が必要。 - 分散が horizon とともに増大する。 - flat Markovian policies 向けの FQE は Bellman 方程式により importance sampling より低誤差を達成。 - しかし階層的方策への naive な FQE 拡張は policy value 推定に bias を生む。 - IO-FQE は option 注釈のないデータでも OPE を可能にし、naive FQE の bias を排除。

- augmented state-option space 上で価値関数を推定する IO-FQE を提案。 - データにどの option が実行されたかの注釈がなくても階層的方策の OPE を可能にする。 - 連続行動向けの IO-FQE の instantiation を 2 種類開発。 - 詳細なアルゴリズム構成は要旨からは不明。

- 長 horizon の階層的連続制御タスクで検証。 - AntMaze navigation - OGBench Puzzle manipulation - IO-FQE が naive FQE 適用時の bias を排除することを示す。 - option レベルの importance sampling と比較し mean squared-error を大幅に低減。

- 2 種類の連続行動 instantiation の比較や感度は要旨からは不明。 - option 注釈なしデータでの理論的保証の詳細は要旨からは不明。 - 計算コストやスケーラビリティの議論は要旨からは不明。 - 検証タスクは 2 種類のみで、他領域への一般化は要旨からは不明。

- fitted Q-evaluation (FQE) の原論文。 - option レベルの per-decision importance sampling による階層的 OPE 研究。 - options framework / hierarchical RL の基礎文献 (Sutton et al. の options)。 - OGBench のベンチマーク論文。 - AntMaze を用いた offline RL / OPE 研究。