行動基盤モデルのゼロショット性能を高速適応で改善 10〜40%向上

何が起きたか

arXivに2025年4月10日付で公開された論文「Fast Adaptation with Behavioral Foundation Models」において、研究チームは行動基盤モデル（BFM）のゼロショット強化学習（RL）性能を向上させる高速適応戦略を提案した。提案手法は、事前学習済みBFMの低次元タスク埋め込み空間を探索し、ゼロショットポリシーの性能を数回のオンラインインタラクションで改善する。評価では、4つの最先端ゼロショットRL手法（ナビゲーションおよび移動ドメイン）で、ゼロショット性能に対して10〜40%の改善を報告している。

詳細

ゼロショットRLは、報酬関数で指定された下流タスクを、追加のテスト時学習や計画なしに解決するエージェントを事前学習するパラダイムとして注目されている。これは、自己教師ありタスク埋め込みと対応する準最適な行動を学習し、任意の報酬関数に対して潜在タスク埋め込みと関連ポリシーを直接取得する推論手順を組み込むことで実現される。しかし、ゼロショットポリシーは、教師なし学習プロセス、埋め込み、推論手順によって生じる誤差のため、しばしば準最適となる。 本研究では、適応プロセス中の性能低下を回避しつつ、数ステップのオンラインインタラクションでBFMのゼロショット性能を改善する高速適応戦略に焦点を当てている。重要な発見として、既存のBFMは、その推論手順によって特定されるポリシーよりも高性能なポリシーを含むスキルセットを学習しており、高速適応に適していることを示した。この観察に基づき、アクタークリティックとアクターのみの2つの高速適応戦略を提案し、事前学習済みBFMの低次元タスク埋め込み空間を探索して、任意の下流タスクにおけるゼロショットポリシーの性能を迅速に改善する。提案手法は、事前学習済みRLモデルの微調整で一般的に見られる初期の「アンラーニング」フェーズを軽減する。

Key Facts

なぜ重要か

この研究は、ゼロショットRLの実用性を高める可能性がある。BFMの性能を少数のインタラクションで改善できることは、実世界のタスクへの適応コストを削減し、RLエージェントの展開を容易にする。また、既存のBFMに隠れた高性能スキルが存在するという発見は、モデルの活用方法に新たな視点を提供する。