日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2611.09376

LLMは重み編集でロボットをデバッグできるか

Can LLMs Debug Robots by Editing Their Weights?

シェア:XThreadsFacebookLINEはてブBluesky

GPT-6 Astraがロボット基盤ポリシーの重みの一部(65行のトークン埋め込み)を編集し、勾配更新や新規デモなしに言い換え指示への成功率を86.3%から92.0%へ改善した。

詳しい要約

1. どんなもの?

- ロボット基盤ポリシー($\pi_{0.5}$)の語彙的指示グラウンディングを、LLM(GPT-6 Astra)が重み編集で修復する試み - 勾配更新や新規デモンストレーションなしで、トークン埋め込みの65行のみを編集 - 重みを読み取り、CPUワークスペースと予算付きシミュレータフィードバックを用いる weight-space programming の枠組み - 対象はロボットポリシーのデバッグであり、一般的な能力獲得ではないと位置づけ

2. 先行研究と比べてどこがすごい?

- 従来のポリシー改善は勾配更新や追加デモを要することが多いが、本手法はそれらを不要とする - わずか65行の token-embedding 編集で held-out paraphrase の成功率を改善 - ランダム方向の編集では効果がないことを対照実験で示す - 編集者自身の lexicon による完全置換よりも回帰が少ない傾向 - ただし先行研究との直接比較は要旨からは不明

3. 技術・手法の肝は?

- GPT-6 Astra がポリシーの重みを読み、CPUワークスペース上で編集候補を生成 - 予算付きシミュレータフィードバックを用いて候補を評価・選別 - 勾配更新や新規デモンストレーションなしで token-embedding 行を編集 - 13の追加ロボットセッションでは候補を棄却する仕組みも備える

4. どうやって有効だと検証した?

- $\pi_{0.5}$ 上の3独立セッションで765の held-out paraphrase を評価 - 最良で成功率 86.3% → 92.0%(48修復、4回帰、exact paired $p=1.31\times10^{-10}$) - 編集トークンを含む335指示では 74.3% → 87.5%、残り430エピソードは結果変化なし - ランダム方向編集は効果なし - 追加13セッションでは12候補を棄却、残る1件も有意な held-out 改善なし - 別途、benchmark metadata が FastWAM の成功率を 70.0% → 48.6% に低下させる一方、評価対象 VLA の集計率は不変

5. 議論はある?

- 得られた証拠は精密な語彙修復を支持するが、欠落したロボット能力の一般的獲得は支持しない - 編集者自身の lexicon による完全置換は利得の多くを説明するが回帰が増え、編集者との直接差は 0.05 で有意でない - 追加セッションでの棄却が多く、汎化や再現性には限界 - benchmark metadata の影響は評価設計上の注意点を示唆

6. 次に読むべき論文は?

- $\pi_{0.5}$ および FastWAM の原論文 - weight-space programming や model editing の関連研究 - token-embedding 編集や lexical grounding に関する研究 - VLA(vision-language-action)ポリシーのデバッグ手法 - 要旨で直接参照されている研究は限られるため、同分野の定番として上記を挙げる

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jusheng Zhang, Keze Wang, Liang Lin

分類: cs.RO, cs.AI

原文アブストラクト

A language model can repair a robot policy's lexical instruction grounding by editing just 65 token-embedding rows. We bring weight-space programming to robot foundation policies: GPT-6 Astra reads weights and uses a CPU workspace and budgeted simulator feedback, without gradient updates or new demonstrations. Three independent sessions on $π_{0.5}$ all improve success on 765 held-out paraphrases; the best raises success from 86.3\% to 92.0\% (48 repairs, four regressions; exact paired $p=1.31\times10^{-10}$). Among the 335 instructions containing edited tokens, success rises from 74.3\% to 87.5\%; the other 430 episodes have zero outcome changes. Matched random-direction edits do not help. Full replacement using the editor's own lexicon explains much of the gain but produces more regressions; its direct difference from the editor is not significant at 0.05. Across 13 further robot sessions, the editor declines 12 candidates; the sole retained edit does not show a significant held-out gain. Separately, benchmark metadata lowers FastWAM success from 70.0\% to 48.6\%, while the evaluated VLA's aggregate rate is unchanged. The evidence supports precise lexical repair, not general acquisition of missing robot capabilities.

関連論文

  1. 1パナソニックHDら、ロボット操作AI「T-Rex」を共同開発 12タスクで平均成功率65%研究・技術
  2. 2シンロボティクス、AI除草ロボを2027年6月発売 価格500万円新製品・発表
  3. 3NVIDIA、Cosmosを用いたインタラクティブシミュレーション向け世界モデルを解説研究・技術
  4. 4Hugging Face、ロボット学習基盤「LeRobot v0.7.0」を公開 対話操作と大規模データ学習に対応新製品・発表
  5. 5NVIDIA、Vera CPUのエージェント処理性能を公表 x86比で速度・電力効率を比較半導体・GPU
PR本紙発行元 EmplifAI