日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

言語モデル解釈arXiv:2611.19609

語より先に:小型言語モデルの記述由来状態における名称情報と命名失敗の有無

Before the Word: Name Information in Description-Derived States of Small Language Models, With and Without Naming Failure

シェア:XThreadsFacebookLINEはてブBluesky

小型言語モデルが名称を含まない記述から名称予測的な内部状態を形成するか、また命名に失敗しても記述選択に成功する場合にその状態が異なるかを、類似度読み出しや活性化パッチングで検証した研究。

詳しい要約

1. どんなもの?

- 小規模言語モデル(Qwen2-0.5B、SmolLM2-1.7B、Phi-3-mini)が、名前を含まない記述から名前予測的な内部状態を形成するかを調べる研究。 - tip-of-the-tongue(TOT)状態を類推として動機づけに用いるが、あくまで analogy のみ。 - 命名失敗だが記述選択が成功する場合に、その状態が異なるかも検討。 - 200項目、内部事前登録(凍結文書、外部レジストリなし)の研究。

2. 先行研究と比べてどこがすごい?

- 先行研究との具体的比較は要旨からは不明。 - 複数の read-out(similarity read-out、Patchscopes-style read-out、activation patching)を matched controls と組み合わせる点が特徴的。 - 命名失敗と記述選択成功の乖離に着目する点が独自の切り口。

3. 技術・手法の肝は?

- similarity read-out、Patchscopes-style read-out、activation patching を matched controls と組み合わせる。 - H1(状態に名前情報がある)と H2'(失敗項目で名前なし状態の記述言い換え一貫性が低くない)を検証。 - 事後 robustness checks:logit lens、single-position patch、manipulation check。 - 事前登録仕様に基づく統計的検証を実施。

4. どうやって有効だと検証した?

- H1 は9つの model-by-description-type 組み合わせすべてで支持。 - 一致規則は similarity measure と patching で満たされ、Patchscopes は chance 付近。 - 事後チェックで middle layers の名前情報は multi-position patch と similarity measure で最も明瞭、50% depth の single-position patching では弱い。 - H2' は混合:SmolLM2 の deficit test は事前登録仕様で有意だが頑健でない、Phi-3 の非劣性は margins と word-overlap covariate で成立するが bootstrap 区間がゼロを含む、Qwen2-0.5B は結論不能。

5. 議論はある?

- 事後 robustness checks により H1 の解釈は temper される(middle layers の名前情報は条件依存)。 - H2' の結果はモデル間で一貫せず混合。 - capacity explanation は未検証のまま。 - 報告するのは vehicle-level signals のみで meaning ではないと明記。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:Patchscopes、logit lens、activation patching 関連。 - 同分野の定番として tip-of-the-tongue(TOT)関連の認知科学・言語モデル研究。 - capacity explanation を検証する研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Fernando Cardenas Piepereit

分類: cs.LG

原文アブストラクト

The tip-of-the-tongue (TOT) state, knowing an object but not its name, motivates this study as an analogy only. We ask whether small language models form a name-predictive state from a name-free description, and whether it differs when naming fails but description selection succeeds. In an internally pre-registered study (a frozen document, no external registry) of Qwen2-0.5B, SmolLM2-1.7B and Phi-3-mini with 200 items, we combine a similarity read-out, a Patchscopes-style read-out and activation patching with matched controls. H1 (name information in the state) was supported in all nine model-by-description-type combinations; the agreement rule was met by the similarity measure together with patching, while Patchscopes stayed near chance. Post-hoc robustness checks after internal review (logit lens, single-position patch, manipulation check) temper this reading: name information in middle layers is clearest under the multi-position patch and the similarity measure, and weak under single-position patching at 50% depth. H2' (description-paraphrase consistency of name-free states not lower in failure items) is mixed: the SmolLM2 deficit test is significant under the pre-registered specification but not robust; Phi-3 non-inferiority holds across margins and a word-overlap covariate, although its bootstrap interval includes zero; Qwen2-0.5B is inconclusive. A capacity explanation remains untested. We report vehicle-level signals only, not meaning.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2Google DeepMind、ロボット向けAIを発表新製品・発表
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  5. 5SoftBank主導、Agile Robotsが5億ドル調達 NVIDIAと日立も参加資金調達

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI