既存言語モデルへの無制限コンテキスト後付け手法

本論文は、学習済みの重みを変更せずに、stock language model へ実質的に無制限の context を後付けする手法を提案する。 - 対象は Mistral-7B と Llama-3.1-8B で、llama.cpp 上に実装。 - Rotary attention の遅い plane が遠方 key のアドレスを担い、速い plane が近傍 span 内の token 順序を担うという幾何的性質を利用。 - 遠方では位置がぼやけ、attention は sequence ではなく bag として読むという観察に基づく。 - 近傍 8K token は真の位置のまま保持し、それ以遠を prompt 側で操作する。

従来の長文脈手法は再学習や重み変更を要することが多いが、本手法は unmodified weights で stock model に無制限 context を付与する点が新しい。 - 遠方 attention を『履歴そのもの』ではなく『予測前に設置できるもの』と捉える発想が先行研究と異なる。 - 遠方 span は query の handle word に対して可視な場合のみ読まれ、description 経由の読みは 70B を含む全モデルで遠距離では失敗するという知見を示す。 - 実装上の速度面でも stock 比で prefill 1.85 倍、decode 1.65〜1.68 倍を達成。

Rotary attention の plane ごとの回転速度差を利用し、遠方 key/value を host に正確に配置する。 - 近傍 8K token は元の位置で保持。 - 遠方の全 key/value を host exact に送り、word index で request の rare word が指す unit を検索。 - 学習済み範囲内の far window slots にそれらを保持したまま request を encode。 - 生成中に rare word が出たら、その unit を one exact re-encode で mid-generation に fetch。 - これにより遠方 span を『単語』単位で競合下でも読ませる。

llama.cpp 上の Mistral-7B と Llama-3.1-8B で評価。 - planted single needle を 32K〜1M token で 100 問中 99〜100 正解。 - three-key discrimination を 100 問中 88〜100 正解。 - RULER で Llama-3.1-8B 128K は 70.8（dense attention 69.9）、Mistral-7B 32K は 67.8（同 75.5）。 - 128K で prefill 1.85 倍、decode 1.65〜1.68 倍の stock 比速度。

遠方 attention が bag 的に読まれるため、description 経由の読みは距離で失敗するという限界が示される。 - 70B を含む測定モデル全てでこの失敗が確認された。 - Mistral-7B の 32K RULER では dense attention に劣る（67.8 vs 75.5）など、モデル・条件による性能差がある。 - 近傍 8K の窓や far window slots の設計、rare word 依存の fetch 機構の一般性については要旨からは不明。

要旨で直接参照・比較されているのは dense attention と RULER ベンチマーク。 - 関連手法として Rotary attention（RoPE）の plane 回転特性、stock language model、llama.cpp 実装が挙げられる。 - 同分野の定番として long-context 評価の RULER、needle-in-a-haystack 系の評価、dense attention との比較論文を次に読むべき。