ループ型言語モデルにおける再帰計算の割り当て

本論文は、ループ型言語モデル（looped language models）において、共有計算を繰り返し適用する際に、どの層（layer）をループさせるべきかを問う研究である。従来は層スタック全体を繰り返すことが一般的だったが、mixer（混合器）とdense feed-forward network (FFN)は異なる操作とコストを持つ。著者らは、recurrenceを状態更新の繰り返し合成と捉え、アプリケーションが新しいcross-position影響方向を露出し、それがタスクの読み出し時に観測可能な場合に価値があると主張する。この視点から、Gated DeltaNet mixerを繰り返し、dense FFNは一度だけ適用するMixerLoopを提案する。

先行研究では、ループ型言語モデルは通常、層スタック全体（full-block recurrence）を繰り返す。しかし、mixerとFFNは異なる機能とコストを持つため、全体を繰り返すのは非効率である可能性がある。本論文は、recurrenceの価値を、新しいcross-position影響方向の露出として理論的に特徴づけ、mixerのみを繰り返すことで、FFNの再実行なしにrecurrent depthの利点を保持できることを示す。これは、計算コストを削減しつつ性能を維持する点で新規性がある。

手法の核は、Iterative Transport Rank (ITR)とmarginal ITRという概念を用いて、recurrenceの影響を分析することである。ITRは累積影響軌跡を記述し、marginal ITRは連続する適用による非冗長な影響を記述する。この分析に基づき、MixerLoopは各Gated DeltaNet mixerを繰り返し、dense FFNは一度だけ適用する。また、有限のcontext-off介入を用いて、後のmixer適用が最終的な言語モデルの読み出しに異なる、無視できない、有益な変化をもたらすかをテストする。

15Mおよび110Mパラメータのモデルで、MixerLoopをno recurrenceとfull-block recurrenceと比較した。同じデータ、初期化、アーキテクチャを使用した。結果、MixerLoopは15MでCORE（おそらく総合的な評価指標）でFullLoopを上回り、110MではFullLoopのCORE改善の41.5%を保持しつつ、recurrent-backbone projection FLOPsを45.9%削減した。

要旨からは、議論の詳細は不明であるが、提案手法がFFNを繰り返さないことで性能が低下する可能性や、異なるスケールでの挙動の違い（15MでFullLoopを上回るが110Mでは改善の一部のみ保持）についての考察が考えられる。また、ITRの理論的枠組みの妥当性や、他のアーキテクチャへの適用可能性についての議論があるかもしれないが、要旨には明記されていない。

要旨で参照されている関連研究として、Gated DeltaNet mixer、looped language models、full-block recurrence、Iterative Transport Rank (ITR)に関する論文が挙げられる。具体的には、Gated DeltaNetの元論文や、ループ型言語モデルの先行研究（例：Looped Transformers）を読むことが推奨される。