日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

自己改善arXiv:2611.21885

言語モデルが自らの重みを書き換える

Language Models Can Rewrite Their Own Weights

シェア:XThreadsFacebookLINEはてブBluesky

27Bのオープンモデルが勾配や再学習なしに自身の推論で重みを編集し、未見問題での精度向上や損傷した自己の修復を実現した。

詳しい要約

1. どんなもの?

- 言語モデルが自身の推論によって自身の重みを書き換え、性能を改善する手法「self-rewriting」を提案 - 勾配計算や追加学習なしで、モデル自身がoptimizerとして機能 - 27Bのopen modelが自身の重み・採点済み回答・自己実行能力を与えられ、失敗を診断して重みを書き換える - 学習と推論の境界を越え、recursive self-improvementへの一歩と位置づける

2. 先行研究と比べてどこがすごい?

- 従来は一度学習したモデルを凍結し、改善には再学習・prompt・harness・推論時計算が必要だった - 先行研究ではfrontier modelがより小さなモデルを編集する例があったが、本研究はopen 27B modelが自身を編集 - test-time scalingと異なり、利得を重みに書き込み回答あたりのコストを生まない - 学習と異なりforward passのみで動作し、servingと同様の計算形態

3. 技術・手法の肝は?

- モデルに自身の重み・採点済み回答・自己実行能力を与え、自身の失敗を診断させる - 診断に基づき重みを書き換える編集を生成 - 練習問題で編集をテストし、有効なもののみを採用する反復ループ - 勾配やtrainingなし、forward passのみで実行

4. どうやって有効だと検証した?

- 未見の問題で自身の編集により6.6ポイント精度向上 - 8回連続セッションで精度が単調に上昇 - 損傷した自己コピーを再学習なし・元の重みを読まずに、未見の画像タスクで元の80%超の精度まで回復 - モデルファミリー内でスケール依存性を確認:小モデルは編集不能または自己破壊、最大モデルのみ改善・修復に成功

5. 議論はある?

- 学習と推論の壁は道具の限界であり知能の性質ではないと主張 - recursive self-improvementにはself-rewritingが必要と論じる - スケール依存性があり小モデルでは機能しない点が制約 - 編集の安全性・検証可能性・長期的影響については要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照される先行研究:frontier modelが小さなモデルを編集した研究 - 関連概念:test-time scaling、recursive self-improvement - 同分野の定番としてself-improvement、self-training、model editingに関する研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jiajun Fan, Neil He, Changyi Yang, Andy Mao, Xi Zhu, Chaoran Cheng, Kaiqu Liang, Shuaike Shen, Zetian Li, Ruihan Guo, Ge Liu

分類: cs.AI

原文アブストラクト

A language model is trained once and frozen. Making it better takes another training run, or a prompt, a harness or extra computation at inference that is gone once the task ends. We show a third way: to our knowledge for the first time, a language model rewrites its own weights by its own reasoning and becomes better, with no gradients and no training. We call this self-rewriting: the model is its own optimizer. In earlier work, a frontier model edited a much smaller one; here an open 27B model, given its weights, its graded answers and the ability to run itself, diagnoses its own failure and rewrites the weights behind it. It surpasses itself: its own edit makes it 6.6 points more accurate on problems it never saw. It keeps getting better: it tests its edits on practice problems and submits only what works, each edit improving on the last, and over eight consecutive sessions its accuracy only rises. It repairs a damaged copy of itself, like a broken robot that fixes itself without being rebuilt: the copy solves almost nothing, yet with no retraining and without ever reading the original weights, the model brings it back to over 80% of the original accuracy on image tasks it never saw. And the ability emerges with scale: in one model family, the smaller models make no edit or break themselves, and only the largest improves and repairs itself. Unlike test-time scaling, self-rewriting writes its gain into the weights, at no cost per answer; unlike training, it runs only forward passes, as serving does. The wall between training and inference is a limit of our tools, not a property of intelligence. We believe self-rewriting is a necessary step toward recursive self-improvement: a model that, like a human, does not separate training from inference could keep upgrading itself for life, with no larger model, no harness or prompt engineering, and no pre- or post-training.

関連論文

  1. 1パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3日経クロステック、NVIDIA取締役会のファンCEO解任議論を報道 同社は同日、辞任を発表業界動向
  4. 4NVIDIA、ヒトの動きをロボットに適応する「SOMA Retargeter」を紹介研究・技術
  5. 5ティアフォーとTUM、Autowareでミュンヘン大型路線バスの自動運転開発を支援提携・買収

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI