線形プローブは線形表現の証拠になるのか？

- 線形表現仮説（linear representation hypothesis）の標準的な検証法である linear probe の妥当性を問う研究。 - pretrained vision model が generative factor を線形に復号可能な方向として符号化しているかは、linear probe の精度が高いことで判定されてきた。 - 本論文はこの判定基準が過度に寛容（too permissive）であると主張する。 - 高い probe 精度は2つの異なる幾何構造と整合する。 - 真の linear world model：latent-aligned subspace が表現を支配。 - kernel machine：latent がはるかに大きな curved manifold の内部に線形に埋め込まれている。 - 両者を区別する3つの非対称な diagnostic を提案し、シミュレーションと実モデルで検証する。

- 先行研究は linear probe の精度が高いことを「線形表現の証拠」とみなす方法論を標準としてきた。 - 本論文は、十分に豊かな feature map（random なものを含む）でも漸近的に線形 readout が存在し得ることを示し、この基準が過度に寛容であると指摘する点が新しい。 - probe に直交する curved structure が out-of-distribution generalization、robustness、compositional transfer に関与するという観点を持ち込み、単なる forward decodability では不十分だと論じる。 - 具体的な先行研究名・比較対象は要旨からは不明。

- 3つの非対称な diagnostic を提案する。 - reverse predictivity - spectral concentration - out-of-distribution generalization - これらは「真の linear world model」と「kernel machine」を区別するために設計されている。 - 完全に観測可能な simulation で ground truth が既知の状況で diagnostic を検証する。 - さらに pretrained vision transformer に適用し、forward decodability と latent-aligned variance の乖離を調べる。

- ground truth が既知の fully observed simulation で3つの diagnostic を検証。 - SVG-World（paired visual styles を持つ deterministic generative benchmark）上の6つの pretrained vision transformer に適用。 - そのうち2つを CelebA に適用。 - dSprites、3D Shapes、MPI3D では forward decodability と latent-aligned variance が乖離することを示す。 - 結果として、pretraining は random kernel を超える構造を生むが linear world model には遠く及ばないと報告。

- forward decoding だけでは、probe された factor が表現の支配的幾何構造と整合していることを示せない。 - linear probe の成功を、真に線形かつ低次元な表現の証拠とみなすことへの注意を促す。 - probe に直交する curved structure が OOD generalization、robustness、compositional transfer に関わるため、この区別は重要である。 - 具体的な限界や反論については要旨からは不明。

- 要旨で参照・比較されている具体的な先行研究名は不明。 - 関連手法として linear probe、kernel machine、linear representation hypothesis が挙げられる。 - 同分野の定番として、pretrained vision transformer の表現解析や disentanglement 評価（dSprites、3D Shapes、MPI3D、CelebA を用いる研究）を次に読む候補として挙げられる。