日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
解釈可能性arXiv:2609.37680

モデルは多様体を操作しない：数比較タスクにおける計算の幾何学

When Models Don't Manipulate Manifolds: The Geometry of a Comparison Task

シェア:XThreadsFacebookLINEはてブBluesky

Qwen2.5-7B-Instructの数比較タスクを解析し、曲線的な表現が存在してもモデルは線形表現を用いて比較を行い、注意とMLPで最大値を求める仕組みを明らかにした。

詳しい要約

1. どんなもの？

- ニューラルネットワークの表現幾何学が計算にどう使われるかを解明する研究。 - 数比較タスクを抽象化し、Qwen2.5-7B-Instructの因果的幾何学を分析。 - モデルは曲線的幾何学が存在しても線形表現を主に使用。 - 2数の比較では、各数をベクトルに符号化し、attentionとresidual connectionで加算して共有空間に配置。 - MLPニューロンが局所領域で比較し、最大値の位置を求める。 - 3数の比較でも線形表現への依存が持続。 - manifold hypothesisと線形表現の共存を示す。

2. 先行研究と比べてどこがすごい？

- 従来、数はhelix、曜日は円など低次元多様体で表現されると観測。 - しかし、モデルが計算に多様体をどの程度利用するか不明だった。 - 本研究は、比較タスクにおいてモデルが曲線的幾何学ではなく線形構造を利用することを精密に特徴づけ。 - 多様体仮説が計算において線形表現と共存しうることを示した点が新しい。

3. 技術・手法の肝は？

- Qwen2.5-7B-Instructの数比較タスクにおける因果的幾何学を分析。 - 各数をベクトルに符号化し、attentionとresidual connectionで加算して共有空間に配置。 - MLPニューロンが共有空間の局所領域でペアを比較し、最大値の位置を統合。 - 3数比較でも同様の線形表現依存を確認。

4. どうやって有効だと検証した？

- Qwen2.5-7B-Instructを用いた数比較タスクの実験。 - 2数および3数の比較におけるモデルの振る舞いを分析。 - 線形表現の使用とMLPニューロンの局所比較メカニズムを実証。 - 具体的な評価指標やデータセットは要旨からは不明。

5. 議論はある？

- manifold hypothesisと線形表現の共存可能性を議論。 - 順序付けられた概念は表現に多様体構造を持ちうるが、特定の計算では線形構造を使用。 - モデルがどのように幾何学を利用するかに関する一般的な含意。 - 限界や今後の課題は要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法としてmechanistic interpretability、manifold hypothesis、linear representation hypothesisが挙げられる。 - 同分野の定番として、Transformer Circuits、Toy Models of Superposition、Progress Measures for Grokkingなどが考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Sai Sumedh R. Hindupur, Hadas Orgad, Thomas Fel, Demba Ba

分類: cs.LG, cs.AI, cs.CL

原文アブストラクト

One of the current premises of mechanistic interpretability research is that detailed accounts of the geometry of neural network representations can tell us how models perform computations, and how to effectively intervene on them. While low dimensional manifolds have been observed for multiple concepts in the literature (e.g. numbers encoded on helices, days of the week on a circle, ...), with structure believed to reflect properties of data and tasks, the extent to which models rely on them for computation, and how they manipulate them, remains unclear. We characterize precisely the geometry of computation in a number-comparison task, as an abstraction of comparison for decision making, and how models utilize geometry in an elegant fashion to implement it. Specifically, we study the causal geometry of number comparison in Qwen2.5-7B-Instruct, a capable and widely studied open-weight model, and find Qwen largely uses linear representations of numbers despite the presence of curved geometry. To compare two numbers, the model first encodes each number along a vector and adds the two representations using attention and the residual connection, bringing them into a shared space in the residual stream. Then, the model uses MLP neurons to compare the pair of numbers on local regions in this shared space, which correspond to smaller intervals of input numbers, and combines these to obtain the position of the maximum. In fact, this reliance on linear representations for comparison also persists when the model compares three numbers. Our findings demonstrate that the manifold hypothesis can co-exist with linear representations: while concepts that are ordered may have manifold structure in representations, the model may use an underlying linear structure of the concept in certain computations.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI