MATES: 凍結した単一エージェント方策の観測変換によるマルチエージェント相互作用の学習

- 複数エージェント強化学習（MARL）において、単一エージェント用に学習済みのポリシーを凍結したまま、マルチエージェント環境で協調行動を実現する入力側適応フレームワーク MATES を提案。 - マルチエージェント観測が単一タスク情報を保持しつつ、隣接エージェント情報を別個に識別可能な構造を持つ問題を対象とする。 - 小さなアダプタを学習し、マルチエージェント観測を凍結ポリシーが期待する形式に変換して行動を誘導する。 - ポリシーの内部アーキテクチャや MARL アルゴリズムの目的関数・更新手順は変更しない。

- 従来の MARL はゼロから分散ポリシーを学習し、個々のタスク能力と協調を同時に獲得する必要があった。 - MATES は凍結した単一エージェントポリシーを再利用し、入力変換のみを学習するため、学習パラメータ数がフルポリシー学習の 3.5-7.3% で済む。 - ゼロからの MARL 学習を一貫して上回り、フルファインチューニングの性能に迫る。 - デモンストレーションを用いたベースラインとも総合的に競争力があり、学習時に遭遇しないチームサイズでも強いタスク性能を維持する。

- マルチエージェント観測を入力とし、凍結された単一エージェントポリシーが期待する観測形式にマッピングする小さなアダプタを学習する。 - アダプタはマルチエージェント経験から学習され、共有環境に適した行動を誘導する。 - 凍結ポリシーの内部アーキテクチャは変更せず、基盤となる MARL アルゴリズムの目的関数と更新手順を保持する。 - オン・オフポリシー両アルゴリズムに適用可能。

- lifelong pathfinding、navigation、cooperative discovery のタスクで評価。 - 離散・連続の観測空間と行動空間を含む。 - オン・オフポリシー両アルゴリズムで MATES を評価。 - フルポリシー学習、ゼロからの MARL 学習、フルファインチューニング、デモンストレーションベースラインと比較。 - 学習時に遭遇しないチームサイズでも性能を検証。

- 観測構造が単一タスク情報を保持しつつ隣接情報を別個に識別可能である場合に、個々の能力を符号化するポリシーを変更せずに効果的なマルチエージェント行動を学習できる証拠を示す。 - ただし、この観測構造を満たさない問題への適用可能性や限界については要旨からは不明。 - アダプタの設計や学習安定性、他の MARL アルゴリズムへの一般化については要旨からは不明。

- 要旨で参照/比較されている研究：MARL のゼロからの学習、フルファインチューニング、デモンストレーションベースのベースライン。 - 関連手法：オン・オフポリシー MARL アルゴリズム（具体的名称は要旨からは不明）。 - 同分野の定番：QMIX、MADDPG、COMA、MAPPO など。