最適化層2026/9/27arXiv:2609.33630

lapanda: 非凸制約付き最適化層のための行列フリー微分可能ソルバ

lapanda: A Matrix-Free Differentiable Solver for Nonconvex Constrained Optimization Layers

シェア:X Threads Facebook LINE はてブ Bluesky

非凸制約付き最適化を微分可能層として扱うため、拡張ラグランジュ法と準ニュートン法を組み合わせた行列フリーソルバを提案し、逆伝播の感度近似を導出した。

詳しい要約

1. どんなもの？

- 非凸制約付き最適化問題を微分可能に解くソルバーlapandaを提案。 - ネットワークパイプラインに最適化の構造的保証を組み込む。 - 行列フリーで効率的な順伝播と逆伝播を実現。

2. 先行研究と比べてどこがすごい？

- 既存の微分可能ソルバーは特殊構造に依存し表現力が限定的。 - 計算時間とメモリオーバーヘッドが大きい問題があった。 - lapandaは一般的な制約を扱い、計算時間とメモリを大幅削減。

3. 技術・手法の肝は？

- 問題を拡張ラグランジュ部分問題の列に再定式化。 - 各部分問題を適応的ラインサーチ付き近接平均化準ニュートン法で解く。 - 逆伝播で元問題と最終部分問題の感度整合性を導出。 - 行列フリーで部分問題感度を効率的に計算。

4. どうやって有効だと検証した？

- 非凸制約付きRosenbrockベンチマークで評価。 - 模倣学習と代表的な制約付き最適制御問題で検証。 - 組み込みロボット障害物回避タスクで有効性を確認。 - 最先端微分可能ソルバーと比較し計算時間とメモリを削減。

5. 議論はある？

- 解写像の局所適切性と外側反復の収束を確立。 - 逆伝播における感度整合性を理論的に示す。 - 制約満足と学習性能を維持しつつ効率化を達成。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究は明示されていない。 - 同分野の定番として、微分可能最適化レイヤー（例：cvxpylayers, OptNet）や拡張ラグランジュ法、準ニュートン法に関する論文が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yuankun Chen, Zifei Nie, Kangyu Lin, Ján Drgoňa, Liang Wu

分類: math.OC, cs.LG, eess.SY

原文アブストラクト

Differentiable optimization brings the structural guarantees of mathematical optimization to network pipelines, allowing them to be trained end-to-end. However, its application remains challenging for nonconvex constrained problems, as existing differentiable solvers often suffer from limited modeling expressiveness due to their reliance on specialized problem structures, while also incurring substantial computation time and memory overhead in both the forward and backward passes. To address these challenges, we propose lapanda, a matrix-free differentiable solver for nonconvex optimization with general constraints. It reformulates the problem to a sequence of augmented Lagrangian subproblems, each handled by a first-order inner solver through a proximal averaged quasi-Newton algorithm with adaptive linesearch, thus enabling efficient forward optimization. We establish local well-posedness of the solution map and convergence of the outer iterations, and further derive a sensitivity alignment between the original problem and the final subproblem in the backward pass, demonstrating that the subproblem sensitivity, which can be computed efficiently in a matrix-free manner, provides a principled approximation to the exact optimizer sensitivity. We evaluate lapanda on nonconvex constrained Rosenbrock benchmarks, imitation learning with several representative constrained optimal control problems, and embedded robotic obstacle-avoidance tasks. Compared with state-of-the-art differentiable solvers, lapanda delivers substantial reductions in computation time and memory footprint while maintaining reliable constraint satisfaction and learning performance.

arXivで原文を読む →arXiv概要ページ

← 論文一覧