サポート保持蒸留によるマルチエージェント協調

- オフラインMARLにおける生成的ポリシーの蒸留問題を扱う研究。 - 中央集権的teacherを分散型one-step actorに蒸留するCTDE下で、flow-based teacherの失敗モードを特定。 - ノイズとreplay targetの独立ペアリングが近接ノイズを矛盾する協調モードに割り当て、モード間のサンプルを生成。 - 蒸留損失が局所actorを条件付き平均に回帰させるため誤差が伝播。 - これを除去するMode-Support Semi-Discrete Optimal Transport (MoSDOT)を提案。 - 有限モードサポートと容量を規定し、条件付き半離散最適輸送でノイズを単一モードに割り当て。 - 共有ランダム性変種も検討し、厳密積実行の残差ギャップを調査。

- 従来のflow-based teacherはノイズとreplay targetを独立にペアリングし、近接ノイズが矛盾する協調モードにルーティングされる問題があった。 - 蒸留損失が局所actorを条件付き平均に回帰させるため、teacher側の誤差がstudentに伝播。 - MoSDOTはモードサポートを要約し、条件付き半離散最適輸送でノイズを単一モードに割り当て、teacher側のアーティファクトを除去。 - これによりエンドポイント品質とルーティング一貫性が向上。 - 特にマルチモーダルな共同行動を示すデータセットで有効。

- マルチモーダルなreplayを有限のモードサポートに要約し、所定の容量を割り当て。 - 条件付き半離散最適輸送を用いて、各ノイズサンプルをteacher訓練前に単一モードに割り当て。 - これによりノイズとモードの対応が一貫し、モード間のサンプル生成を防止。 - 共有ランダム性変種では、実行時に共有ノイズ成分を用いて厳密積実行の残差ギャップを明示。

- 制御された診断タスクとオフラインMARLベンチマークで評価。 - MoSDOTがエンドポイント品質とルーティング一貫性を改善。 - 特にマルチモーダルな共同行動を示すデータセットで有効性を確認。

- 共有ランダム性変種を検討し、厳密積実行に内在する残差ギャップを調査。 - その他の議論や限界については要旨からは不明。

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、flow-based teacher、CTDE、offline MARL、semi-discrete optimal transport、shared-randomness variantが挙げられる。 - 同分野の定番として、BCQ、CQL、IQL、MADDPG、QMIXなどが考えられるが、要旨に記載はない。