事後学習が言語モデルの言語化されたアルゴリズム計算に与える影響

- 対象は言語モデルの post-training が内部情報利用と verbalized chain of thought (CoT) に与える影響の分析。 - Olmo-3-7B-Instruct の SFT・DPO・RLVR の各 checkpoint を multi-digit addition で比較。 - carry 値を既知の中間状態として用い、内部 activation と CoT の寄与を切り分けて調べる。

- post-training が reasoning を改善すること自体は知られていたが、内部情報の利用と書かれた推論の有用性を分けて調べた点が新しい。 - 同一モデル系列の SFT・DPO・RLVR checkpoint を横断比較し、post-training 段階ごとの差を捉える。 - carry という既知の中間状態を手がかりに、内部表現と CoT の両面から検証している。

- multi-digit addition を課題とし、carry 値を内部状態の既知の指標として利用。 - probe により activation から carry 情報を復元し、SFT と RLVR で精度を比較。 - carry 情報の操作が出力制御に与える影響、および CoT の受け手 checkpoint での精度への寄与を評価。 - carry 関連文の importance score を matched random controls と比較。

- probe による carry 情報の復元精度を SFT と RLVR で比較。 - carry 情報の操作がモデル出力を制御できるかを検証。 - RLVR・SFT・DPO が生成した CoT を複数の受け手 checkpoint に与え、精度で比較。 - carry 関連文と matched random controls の importance score を比較して感度を評価。

- SFT と RLVR で probe 精度は同程度だが、carry 情報の操作は出力を安定して制御できず、内部情報と出力の結びつきは単純でない。 - RLVR の CoT は受け手 checkpoint でより高い精度をもたらし、書かれた推論の有用性が post-training で変化する。 - RLVR 後は carry 関連文への importance score が高いが、DPO も同様の感度を示す一方で精度向上は伴わず、感度の高さが性能向上と一致するとは限らない。

- 要旨で直接参照・比較されているのは Olmo-3-7B-Instruct の SFT・DPO・RLVR checkpoint と multi-digit addition 課題。 - 関連手法として chain of thought (CoT)、probe、importance score を用いた分析が挙げられる。 - 個別の先行論文名は要旨からは不明。