REVERSAL-BENCH：リセット不要強化学習の限界を測る可逆性軸とリセットオラクル

- 自律強化学習における外部リセット不要の連続学習を目指すベンチマーク「REVERSAL-BENCH」を提案。 - 環境の可逆性を連続パラメータρ∈[0,1]で制御し、状態回復可能性を検証するリセットオラクルを提供。 - 5つの物理エンジンで8つのマニピュレーション設定を評価。 - 標準的なactor-critic、safe RL、リセットフリー専用フレームワークなど幅広いポリシーアーキテクチャを評価。 - リセットフリーエージェントがρ増加に伴い不可逆状態に吸収される「可逆性クリフ」を明らかにする。

- 既存のリセットフリーRLは環境の可逆性を前提としているが、実世界のマニピュレーションでは不可逆事象（物体を落とす、粒状物質をこぼす等）が存在。 - 本研究は可逆性を連続的に制御するベンチマークを初めて提供し、リセットフリー手法の限界を定量的に示す。 - 幾何学的に同一の可逆的対照と比較することで、破綻が障害物の複雑さではなく不可逆性に起因することを因果的に確認。 - リセットオラクルという真値検証機構を導入し、状態回復可能性を評価可能にした点が新しい。

- 可逆性パラメータρ∈[0,1]を導入し、環境の不可逆性を連続的に調整。 - リセットオラクル：状態が回復可能かどうかを真値で検証するメカニズム。 - 5つの物理エンジン上で8つのマニピュレーション設定を構築。 - リセットフリーRL、safe RL、actor-criticなどのポリシーを評価。 - 安全シールドを評価し、不可逆的失敗の前に介入する手法を検討。 - 大規模マルチシミュレータデータセットに回復可能性ラベルを付与。

- 広範なポリシーアーキテクチャを評価し、ρ増加に伴うリセットフリーエージェントの吸収現象を確認。 - エピソード型エージェントは安定した学習を維持することを示す。 - 学習されたマニピュレーションポリシーを用いた完全物理シミュレーションで吸収現象が持続することを確認。 - 幾何学的に同一の可逆的対照と比較し、破綻が不可逆性に因果的に起因することを確認。 - 安全シールドの評価で、回復可能性は正確に予測できるが、能動的回復はエージェントが物理的にトラップを回避できる場合にのみ成功することを示す。

- リセットフリーエージェントは外部リセットがないため、不可逆状態への遷移が永久的吸収を引き起こし、学習が停止する。 - この吸収現象は完全物理シミュレーションでも持続する。 - 安全シールドは回復可能性を正確に予測できるが、能動的回復の成功は物理的回避能力に依存する。 - 可逆性の欠如がリセットフリーRLの根本的限界であることを示唆。 - 今後の課題として、不可逆環境での効果的な回復戦略の開発が挙げられる。

- リセットフリー強化学習（reset-free RL）の既存手法（例：R3L, FR3Lなど） - 安全強化学習（safe RL）における制約付きポリシー最適化（CPOなど） - リセットオラクルや回復可能性予測に関連する研究 - 不可逆環境下でのマニピュレーションに関する研究 - マルチ物理エンジンベンチマーク（例：MuJoCo, PyBullet, Isaac Gymなど）