何が起きたか

2023年7月17日にarXivで公開された論文「RAYEN: Imposition of Hard Convex Constraints on Neural Networks」において、研究チームはニューラルネットワークの出力または潜在変数に硬い凸制約を課すフレームワーク「RAYEN」を提案した。RAYENは、線形、凸二次、二次錐（SOC）、線形行列不等式（LMI）の任意の組み合わせをサポートし、例えば1K次元の変数に1K個の二次制約を課す場合のオーバーヘッドは8ミリ秒、10K次元の変数に300x300の密行列を持つLMI制約を課す場合は12ミリ秒の追加オーバーヘッドで済む。

詳細

既存の手法は、制約充足を常に保証できないか、計算コストが法外に高いという問題があった。RAYENは、直交射影、ソフト制約、実行可能集合の保守的近似、遅い反復補正といった計算コストの高い手法を回避する。制約付き軌道最適化問題の解を近似するニューラルネットワークで使用した場合、RAYENは最先端アルゴリズムより20倍から7468倍高速で、制約充足を常に保証し、最適性ギャップは1.5%未満の準最適コストを達成した。さらに、学習された歩行ポリシーにアクチュエータ制約を課す能力を、四足ロボットのシミュレーションと実機実験の両方で検証した。コードはhttps://github.com/leggedrobotics/rayenで公開されている。

Key Facts

RAYENは、ニューラルネットワークの出力または潜在変数に硬い凸制約を課すフレームワークである。[1]
RAYENは、訓練中とテスト中の両方で、任意の入力と任意のネットワーク重みに対して制約充足を保証する。[1]
RAYENは、線形、凸二次、二次錐（SOC）、線形行列不等式（LMI）の任意の組み合わせをサポートする。[1]
1K次元の変数に1K個の二次制約を課す場合、RAYENのオーバーヘッドは8ミリ秒である。[1]
10K次元の変数に300x300の密行列を持つLMI制約を課す場合、RAYENのオーバーヘッドは12ミリ秒である。[1]
制約付き軌道最適化問題の解を近似するニューラルネットワークで使用した場合、RAYENは最先端アルゴリズムより20倍から7468倍高速である。[1]
RAYENは、最適性ギャップ1.5%未満の準最適コストを達成する。[1]
RAYENは、四足ロボットのシミュレーションと実機実験でアクチュエータ制約の充足を検証した。[1]
コードはhttps://github.com/leggedrobotics/rayenで公開されている。[1]

なぜ重要か

ロボティクスにおける凸制約の応用は多いが、学習ベースのフレームワーク内で制約を強制することは未解決の課題だった。RAYENは、計算コストを抑えつつ制約充足を保証する手法を提供し、学習ベースの制御や軌道最適化の実用性を高める可能性がある。