Transformerにおける表現進化の方向分解による分離

- Transformer の表現が学習された加法的変換によってどのように進化するかを、方向の保存と変更という機能的幾何として研究する。 - 学習された更新を parallel 成分と perpendicular 成分に分解する。 - 事前学習済みモデルで residual identity path を超える大きな parallel 成分を見出し、attention/MLP 更新と value 集約の2空間に適用する。

- 従来の残差経路中心の見方に対し、更新を parallel/perpendicular に分解して表現進化を成分レベルで捉える点が新しい。 - 編集の頑健性が空間依存的に非対称であることを示し、exclude-self value-space の parallel 操作が residual-space や perpendicular より顕著に頑健である。 - 圧縮誤差の診断で perpendicular 誤差が parallel 誤差より圧縮手法を明確に分離できることを示す。

- 学習された更新を現在の方向に平行な成分と垂直な成分に分解する。 - 2つの空間で適用: hidden state に対する attention/MLP 更新、現在トークンの value に対する attention value 集約。 - 編集では exclude-self value-space の parallel 操作により、self message を保ちつつ non-self aggregate のみをスケールする。

- 事前学習済みモデルで residual identity path を超える parallel 成分を観測。 - ターゲット編集により空間依存的な非対称性を確認。 - 圧縮 induced update error を成分分解し、perpendicular 誤差が手法分離に有効と示す。 - from-scratch pretraining 中の full-aggregate parallel suppression が validation-loss 軌跡を下げ、downstream 平均を改善し、value-space 変種が最強。

- 表現幾何が編集頑健性、圧縮診断、学習時介入を結びつけることを示唆。 - ただし具体的な限界や反例、理論的説明の深さは要旨からは不明。

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として Transformer の residual stream 解析、attention value 集約、モデル圧縮、pretraining 介入の定番研究を挙げる。