指示を重みに蒸留：閉形式編集でロボット方策の誤読を修正

ゼロショットの汎用ロボット政策（$π_{0.5}$ vision-language-action policy）が、指示の一部を誤解して失敗する現象を、勾配・訓練データ・指示変更なしに重みの直接編集で修復できるかを問う研究。RoboLab で「cube を入れてから banana を bowl に入れろ」という指示に対し、cube を bowl に届く前に離してしまう失敗を対象とする。

従来の policy 改善は追加訓練やデータ収集、指示の書き換えが前提だったが、本研究は勾配・訓練データ・指示変更なしの closed-form な重み編集で修復する点が新しい。同サイズのランダム方向更新では成功率が変わらないこと、編集先を action expert や action head にすると効果が乏しいことを示し、編集の位置と方向の特異性を対比している。

Closed-form instruction distillation により、明示的な言い換え（reword）が言語モデルの各層に与える効果を MLP 重みへコピーする。対象は言語モデルの MLP 重みで、action expert や action head への同様の蒸留は効果が小さいか無い。パラメータ数の 0.16% のみを保存する変種でも効果の大半を維持する。

128 の held-out seeds で成功率が 27 から 106 エピソードへ上昇（81 修正・2 破壊、$p=7\times10^{-22}$）。同サイズのランダム方向更新では成功率不変。他 2 タスクでも向上し残り 13 タスクに検出可能な害なし。公開ツールで新規 held-out seeds に 8/64 から 36/64 へ再現。知覚・把持欠如・接触物理・gripper 閾値向けの編集は無効。7 名の blind Claude Opus 編集者のうち誤読指示を与えられた 1 名のみが held-out scoring を通過。

重み編集は「既に正しい入力（known-good input）が存在し蒸留できる」場合に最も機能する可能性を示唆。重み不変の再実行でも paired outcomes の約 1/3 が反転するため、評価は seed のペア化、未編集 policy の再実行、held-out seeds での利得確認を行うべきと議論。

要旨で参照・比較されている $π_{0.5}$ vision-language-action policy、RoboLab、closed-form instruction distillation、および比較対象の action expert / action head への蒸留。関連する重み編集・モデル編集手法や、評価の seed ペア化に関する研究も次に読む候補。