MOON: マルチタスク学習のための多目的正規直交更新

MOONは、マルチタスク学習における勾配操作を、パラメータの行列構造を考慮したspectral--nuclear norm幾何学の下で行う新しい多目的最適化手法である。従来の方法がパラメータをベクトルに平坦化しEuclidean幾何学で勾配を操作していたのに対し、MOONは行列幾何学に基づく最急降下方向を利用し、正規直交化された操作勾配でパラメータを更新する。理論的には、滑らかな非凸目的関数に対して、決定論的設定で平均Pareto-stationarity測度がO(T^{-1/2})、確率的勾配下でO(T^{-1/4})の収束率を達成する。実験では、複数のベンチマークで最適化効率と最終的なマルチタスク性能を一貫して改善することを示している。

既存のMOO手法（例：MGDA、PCGrad、CAGradなど）は、モデルパラメータをベクトル化しEuclidean空間で勾配操作を行うため、Transformerなどの現代的なアーキテクチャに内在する行列構造を無視している。MOONは、行列パラメータの幾何学（spectral--nuclear norm）に基づく最急降下理論を導入し、Euclidean空間での勾配操作が行列幾何学の下で必ずしも最急降下方向を与えないことを示した点が新しい。これにより、最適化効率と性能の向上を理論的・実証的に達成している。

MOONの核心は、行列値パラメータに対する最急降下理論に基づき、spectral--nuclear norm幾何学の下で勾配操作を行うことである。具体的には、各タスクの勾配を行列として扱い、spectral normとnuclear normの双対関係を利用して、操作された勾配を計算する。その後、その勾配を特異値分解により正規直交化（orthonormalized）してパラメータ更新に用いる。理論解析では、滑らかな非凸設定でPareto-stationarity測度の収束を保証する。

複数のベンチマーク（具体的なデータセット名は要旨に明記されていない）を用いて、MOONを既存のMOO手法と比較し、最適化効率（収束速度）と最終的なマルチタスク性能（タスク間のバランスや平均性能）を評価した。結果、MOONは一貫して改善を示した。また、理論的収束率の証明も行っている。

要旨からは、MOONの理論的保証が滑らかな非凸目的に限定されている点や、spectral--nuclear norm幾何学の計算コスト、大規模モデルへの適用可能性などに関する議論は明示されていない。また、実験で使用した具体的なベンチマークや比較手法の詳細も不明である。

要旨で参照されている関連研究として、多目的最適化（MOO）の既存手法（例：Multiple Gradient Descent Algorithm (MGDA)、PCGrad、CAGradなど）が挙げられる。また、行列値パラメータの最急降下理論に関する研究（例：matrix-valued steepest descent）も関連する。具体的な論文タイトルは要旨にないため、これらの一般名で示す。