二次のドリフトモデル

Second-Order Drifting Modelsは、drift fieldに基づくone-step generative modelの一種であるdrifting modelsを拡張し、生成サンプルに人工的な速度変数を追加して位相空間に持ち上げることで、密度摂動がFourier空間で加速された2次力学に従うようにしたモデル。one-step推論を維持しつつ、1次driftのスペクトル剛性を緩和する。

従来のdrifting modelsはカーネルベースのdrift fieldを用いるため、線形化された領域では各Fourierモードの密度残差の減衰率がカーネルスペクトルに依存し、微細構造の回復が遅いという問題があった。本手法は2次力学を導入することで、このスペクトル剛性を緩和し、収束を加速する点が新しい。

生成サンプルに人工的な速度変数を追加し、位相空間でdrifting dynamicsを2次に拡張する。密度摂動がFourier空間で加速された2次力学に従うことを示し、最適化理論のNesterov加速と関連付ける。実用的なsemi-implicit training algorithmを導出する。

合成分布マッチング、系列データ生成、ロボット制御の3つの設定で評価し、1次driftベースラインと比較して収束挙動が改善され、競争力のあるまたは優れた性能を達成した。

要旨からは、2次化による計算コストや安定性、理論的な保証の詳細、実データでの限界などは不明。また、Nesterov加速との関連は理論的な動機付けであり、実際の性能向上がそのメカニズムによるものかはさらなる検証が必要かもしれない。

要旨で参照されているdrifting modelsの元論文、およびNesterov加速に関する最適化理論の論文。具体的には、"Drifting Models"の原著論文と、Nesterovの加速勾配法に関する古典的論文が挙げられる。