マルチタスク強化学習の新フレームワークCTPGを提案 論文公開

何が起きたか

2025年7月9日付でarXivに公開された論文(識別番号2507.06615v1)が、マルチタスク強化学習の新フレームワーク「Cross-Task Policy Guidance (CTPG)」を提案した。CTPGは、各タスクにガイドポリシーを訓練し、環境と相互作用する行動ポリシーを全タスクの制御ポリシーから選択することで、より良い訓練軌跡を生成する。さらに、学習効率を高める2つのゲーティング機構を導入している。

詳細

既存のマルチタスク強化学習アプローチは、慎重に設計されたネットワーク構造や最適化手順を用いたパラメータ共有に主眼を置いていた。しかし、これらの手法は、タスク間の類似性を直接かつ補完的に活用する方法、すなわち、既に特定のスキルに習熟したタスクの制御ポリシーが、未習得タスクに対して明示的なガイダンスを提供できるという点を見落としていた。CTPGはこの点に着目し、各タスクにガイドポリシーを導入して、すべてのタスクの制御ポリシーから環境と相互作用する行動ポリシーを選択させる。 CTPGには2つのゲーティング機構が含まれる。1つはガイダンスに有益でない制御ポリシーを除外し、もう1つはガイダンスを必要としないタスクをブロックする。CTPGは既存のパラメータ共有アプローチに適応可能な汎用フレームワークであり、実験では、これらのアプローチにCTPGを組み込むことで、操作および移動ベンチマークにおける性能が大幅に向上したと報告されている。

Key Facts

なぜ重要か

マルチタスク強化学習は、複数のタスクを同時に学習する際に共有情報を効率的に活用することを目指している。CTPGは、タスク間の類似性を直接活用する新しい方法を提供し、既存のパラメータ共有手法と組み合わせることで性能向上が期待できる。これにより、ロボットの操作や移動など、複雑なタスクの学習効率が改善される可能性がある。