再帰計算で保持すべきもの：局所予測十分性の原理

再帰的計算における情報保持の原理を扱う研究。 - 再帰的計算は中間状態を繰り返し圧縮・再利用するため、長い再帰経路で有用な情報ほど失われやすいという緊張関係がある。 - 既存の reconstruction や local-prediction 目的は扱いやすい監督を与えるが、保持情報が後続の再帰計算に十分かは保証しない。 - 本論文は local predictive sufficiency を recursive predictive closure として定式化し、各 interface の局所的予測不足を制御すれば root の不一致を制御できると示す。 - これを実行可能な学習手続きに変換し、temporal graphs、language memory、vision-language-action control、recursive self-improvement で検証する。

既存の reconstruction や local-prediction 目的との比較。 - 従来の目的は扱いやすい監督を提供するが、保持情報が後続の再帰計算に十分であることを保証しない。 - 本手法は local predictive sufficiency と recursive predictive closure を導入し、局所 interface の予測不足制御が root の不一致制御につながることを示す。 - 圧縮予算を揃えた条件下で対応する host models と同等以上、再帰や記憶要求が重いほど利得が大きい。 - タスク非依存の predictive-preservation 原理を4設定で host-compatible な介入として実装し、endpoint task、backbone、評価プロトコルを固定している点が特徴。

予測保存のための学習手続き。 - variational characterization から出発し、finite predictive tests と empirical predictive deficiency を導出。 - empirical predictive deficiency は圧縮をまたいで保持された予測価値を測定する。 - その predictive sensitivities が parameter updates に対する margin-relaxed half-space constraints を定義。 - 予測保存が破られそうな場合にのみ、host optimizer の提案更新を制約の共通部分へ射影する。 - これにより endpoint task、backbone、評価プロトコルを固定したまま host-compatible な介入として適用できる。

4つの設定での検証。 - temporal graphs、language memory、vision-language-action control、recursive self-improvement で評価。 - 圧縮予算を揃えた条件下で、対応する host models と同等以上、再帰や記憶要求が重いほど利得が大きい。 - 連続する変換をまたいで予測情報をよりよく保持することを確認。 - 同一のタスク非依存の predictive-preservation 原理を4設定すべてで host-compatible な介入として実装し、endpoint task、backbone、評価プロトコルを固定して検証。

議論の有無は要旨からは不明。 - 要旨では local predictive sufficiency と recursive predictive closure の原理、学習手続き、4設定での結果が述べられている。 - 限界や失敗例、計算コスト、制約の厳しさに関する議論は要旨からは不明。 - 再帰的圧縮のための一般的な学習原理として predictive preservation を位置づけている。

要旨で参照・比較されている研究や関連手法。 - reconstruction objectives - local-prediction objectives - variational characterization - temporal graphs - language memory - vision-language-action control - recursive self-improvement - host models - host-compatible interventions - 同分野の定番として recursive compression、predictive coding、information bottleneck などが関連し得るが、要旨で明示的に参照されているのは上記。