方向条件付き方策によるオンライン目標条件付き強化学習

- オンラインのGoal-Conditioned Reinforcement Learning (GCRL) における新しいポリシー学習手法。 - Contrastive Reinforcement Learning (CRL) を基盤とし、ポリシーを生のゴールではなく、表現空間における方向と距離で条件付ける。 - 訓練中は訪問済み状態をwaypointとして選択し、その方向と距離をポリシーの条件とする。 - 展開時は最終ゴールに同じインターフェースを直接適用し、waypoint選択やプランニングを必要としない。

- CRLはゴール到達可能性を推定する表現を学習するが、ポリシーは生のゴールに条件付けられ、criticがエンコードした幾何を直接活用していなかった。 - DCPはCRLに小さな変更を加えるだけで、表現空間の方向と距離をポリシー条件に利用する。 - 9つのナビゲーションとマニピュレーションタスクで、DCPは7タスクでCRLより高い最終成功率、7タスクでより長くゴール近くに滞在することを示した。 - 制御された迷路実験では、DCPが最短経路幾何をより正確に捉え、与えられた方向がactorの行動に因果的に影響することを示した。

- CRLのcriticが学習する表現空間を利用し、ポリシーをゴールそのものではなく、waypointへの方向と距離で条件付ける。 - オンライン訓練中に訪問済み状態からwaypointを選択し、その表現空間での方向と距離をポリシー入力とする。 - 展開時は最終ゴールに対して同じ方向・距離インターフェースを適用し、追加のプランニングを不要にする。 - waypointのカバレッジとランキングが探索の制限要因であることを特定し、学習された候補生成が2つの制御迷路でゴール到達を改善することを示す。

- 9つのナビゲーションとマニピュレーションタスクでCRLと比較し、7タスクで最終成功率が高く、7タスクでゴール近くに滞在する時間が長いことを示した。 - 制御された迷路実験で、DCPが最短経路幾何をより正確に捉えること、供給された方向がactorの行動に因果的に影響することを検証した。 - waypointのカバレッジとランキングが探索の限界であることを特定し、学習された候補生成が2つの制御迷路でゴール到達を改善することを示した。

- waypointのカバレッジとランキングが探索の制限要因であると指摘。 - 学習された候補生成が2つの制御迷路でゴール到達を改善することを示し、この制限に対処できる可能性を示唆。 - その他の議論や限界については要旨からは不明。

- Contrastive Reinforcement Learning (CRL) - Goal-Conditioned Reinforcement Learning (GCRL) の関連手法 - 要旨で参照されている具体的な論文は不明だが、CRLとGCRLの定番手法が次に読むべき候補。