統計的レバレッジスコアによる多様性考慮型経験リプレイ

- 過去経験の replay buffer からランダムにサンプルして学習する off-policy deep reinforcement learning のための経験再生手法。 - 各 transition を buffer 内データに対する統計的 leverage score でスコアリングし、そのスコアと一様サンプリングの混合から mini-batch を抽出する。 - 物理ロボットでは buffer が日常的な near-identical transitions に支配され、タスクの端を定義する rare events がほとんどサンプルされない問題を狙う。

- ラベル・報酬・value network を一切使わず、保存された数値のみからスコアを計算できる点が特徴。 - 通常の分散最大方向でのスコア構築は one-hot の action 列が常に分散ランキングを占めて盲目になるが、kurtosis が最大の裾の重い特徴列を選ぶことで小さな遠方集団を可視化する。 - prioritized replay の importance weights による完全補正は本手法を打ち消し一様サンプリングと一致してしまうため、補正を捨てて rebalanced objective を意図的に最適化する設計。

- 各 stored transition の statistical leverage score を buffer 自身のデータから算出。 - 分散最大方向ではなく kurtosis 最大（裾が重い）の特徴列を選択してスコアを構築。 - スコアと uniform sampling の混合分布から mini-batch を抽出。 - importance weights の完全補正は行わず、rebalanced objective を直接最適化。 - 関係的な rare situation には、goal に対する短い trajectory window の相対記述に同じ tail rule を適用して信号を回復。

- 3-joint arm が障害物の周りで物体を押すタスクで検証。 - rare-task success が 0.49 から 0.69 に向上。 - labeled-oracle ceiling は 0.74 であり、これに対する比較で有効性を示した。

- importance weights の完全補正が手法を打ち消すため補正を落とす設計上のトレードオフがある。 - one-hot action 表現では分散ベースのスコアが盲目になる問題があり、kurtosis ベースの列選択で対処。 - 単一 coordinate では見えない relational な rare situation には trajectory window 相対記述が必要。 - 詳細な議論や限界は要旨からは不明。

- prioritized replay（importance weights による補正の議論） - statistical leverage score を用いたサンプリング手法 - kurtosis / tail-based feature selection - off-policy deep reinforcement learning の experience replay 全般 - 要旨で参照/比較されている個別論文は明示されていないため、上記関連手法を挙げる。