ルーティング型アンサンブルと軌跡帰属による多目的強化学習

- Multi-objective reinforcement learning (MORL) において、目的間の衝突度合いを定量化し、学習効率への影響を理論的に解析する研究。 - 目的の重み付けに応じて最適 policy が大きく変わる問題に対し、少数の basis policy を保持して動的に routing する routed ensemble policy learning を提案。 - さらに trajectory selection を目的衝突の緩和手段と位置づけ、kernel surrogate trajectory attribution アルゴリズムを設計。 - 応用先として post-training、reasoning models、robotic control を想定。

- 目的衝突の度合いを objective-conflict coefficients として定式化し、online 設定での near-optimal regret bounds を導出して、目的の misalignment が学習効率に与える影響を定量化した点。 - 従来の per-preference policy learning は sample-inefficient であるのに対し、少数の basis policy を routing する方式で効率化を図る点。 - trajectory attribution に kernel を用い、synergy や antagonism といった trajectory 間の非線形相互作用を捉えられる点。 - 既存 baseline と比べ、Meta-World と MO-Gymnasium で平均性能 4.3% 向上、leave-one-out analysis との相関 50% 向上、trajectory selection で reward 27% 向上と報告。

- objective-conflict coefficients を導入し、この尺度に基づき online 設定の near-optimal regret bounds を導出。 - routed ensemble policy learning: 小さな basis policy 集合を維持し、各 trajectory を最も高い potential reward が期待できる policy へ動的に routing。 - kernel surrogate trajectory attribution: ある trajectory 群からの feedback signal が他の trajectory 上の policy learning にどう影響するかを推定。 - kernel により trajectory 間の synergy・antagonism などの非線形相互作用を表現。 - trajectory selection にこの attribution を適用し、目的衝突を緩和。

- 多様な環境・ベンチマークで評価。 - online 環境として Meta-World と MO-Gymnasium を使用し、routed ensembles が baseline 比で平均性能 4.3% 向上。 - kernel surrogate attribution は leave-one-out analysis との相関が既存 baseline 比で 50% 向上。 - trajectory selection に適用した場合、kernel-based attribution は baseline attribution 法比で reward 27% 向上。

- 目的衝突の度合いが最適 policy の変動幅を左右し、per-preference 学習の sample efficiency を損なうという整理を示す。 - objective-conflict coefficients により misalignment の学習効率への影響を regret の観点で定量化。 - trajectory selection を目的衝突緩和の別アプローチとして位置づけ、attribution の有効性を議論。 - 具体的な限界や失敗ケース、計算コストなどは要旨からは不明。

- Meta-World および MO-Gymnasium に関する MORL ベンチマーク研究。 - per-preference policy learning や multi-objective RL の regret 解析に関する理論研究。 - ensemble ベースの policy learning / routing 手法。 - trajectory attribution、leave-one-out analysis、kernel を用いた influence estimation 関連研究。 - 要旨で参照・比較されている個別論文名は要旨からは不明。