何が起きたか
2026年3月12日、arxiv.orgにプレプリント論文「Cross-Domain Policy Optimization via Bellman Consistency and Hybrid Critics」が公開された。論文はクロスドメイン強化学習(CDRL)の課題に対処するため、新手法「QAvatar」を提案している。QAvatarはソースドメインとターゲットドメインのQ関数を適応的な重みで組み合わせ、転移の信頼性を向上させる。
詳細
論文では、CDRLの2つの根本的課題として、(i)ソースとターゲットの状態空間や行動空間が異なるため直接転移が不可能で、より洗練されたドメイン間マッピングが必要であること、(ii)ソースドメインモデルの転移可能性が事前に識別しにくく、転移中に負の影響を受けやすいことを挙げる。これに対し、クロスドメイン・ベルマン整合性の概念を導入し、ソースドメインモデルの転移可能性を測定する。QAvatarはソースとターゲットのQ関数を、ハイパーパラメータ不要の適応的重み関数で組み合わせる。理論的にはQAvatarの収束挙動を特徴付け、ソースドメインのQ関数を効果的に活用してターゲットドメインへの知識転移を実現するとしている。実験では、移動タスクやロボットアーム操作を含む複数のRLベンチマークで良好な転移性を示した。コードはhttps://rl-bandits-lab.github.io/Cross-Domain-RL/で公開されている。
Key Facts
| 論文「Cross-Domain Policy Optimization via Bellman Consistency and Hybrid Critics」がarxiv.orgに2026年3月12日に公開された。 | [1] |
| 提案手法QAvatarは、ソースドメインとターゲットドメインのQ関数を適応的なハイパーパラメータ不要の重み関数で組み合わせる。 | [1] |
| クロスドメイン・ベルマン整合性を導入し、ソースドメインモデルの転移可能性を測定する。 | [1] |
| 実験では、移動タスクやロボットアーム操作を含む複数のRLベンチマークで良好な転移性を示した。 | [1] |
| コードはhttps://rl-bandits-lab.github.io/Cross-Domain-RL/で公開されている。 | [1] |
なぜ重要か
クロスドメイン強化学習は、データ効率の改善に寄与する可能性があるが、転移の失敗リスクが実用化の障壁となっていた。QAvatarは転移可能性の測定と負の転移の抑制を同時に扱うことで、この障壁を低減する可能性を示した。今後の実機検証や他ドメインへの応用が進めば、ロボットや自動運転など試行錯誤コストの高い分野での学習効率向上につながる可能性がある。