日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
コード生成ポリシーarXiv:2611.06863

コード生成ポリシーエージェントの自己修復を再考する:再試行成功を決める要因は何か

Rethinking Self-Repair in Code-as-Policy Agents: What Drives Retry Success?

シェア:XThreadsFacebookLINEはてブBluesky

ロボット操作シミュレーションで、失敗フィードバックによる再試行が単なる再サンプリングより成功率が高いことを示し、失敗ラベル特異性の寄与は小さいと分析した研究。

詳しい要約

1. どんなもの?

- 本研究は、Code-as-Policy エージェントにおける失敗後の retry 成功要因を分析するもの。 - シミュレーション上の robot manipulation タスクを対象とする。 - 同一の 252 件の初期失敗に対し、Qwen2.5-Coder-7B が 5 回の retry 以内に 85.3% を回復することを報告。 - 失敗特異的な feedback の寄与が不明瞭である点を問題提起する。

2. 先行研究と比べてどこがすごい?

- 従来は execution feedback による retry 改善が注目されがちだが、追加 sampling や task guidance の効果と混同されていた。 - 本研究は同一初期失敗集合で比較し、feedback の寄与を切り分ける。 - 同じ retry 上限で resampling は 68.3% 回復にとどまり、feedback が上回る。 - 固定 total-token budget 下でも優位が持続する点を示す。

3. 技術・手法の肝は?

- 失敗ラベルと API variant に基づき固定 lookup で feedback template を選択する。 - 各 scene reset 後に frozen code model が新規 program を生成する。 - 同一 252 初期失敗に対し retry 条件を比較する設計。 - 他 episode からの feedback、固定 task guidance、coarse failure label の一致有無も比較する。

4. どうやって有効だと検証した?

- シミュレーション robot manipulation で 252 件の初期失敗を対象に検証。 - Qwen2.5-Coder-7B で 5 retry 以内の回復率を比較。 - 固定 total-token budget 下でも比較。 - 別 study で初回から固定 guided prompt を用いる条件と template-based feedback の overall success rate を比較。 - nut-insertion タスクで rim grasp が必要な場合の回復低下も確認。

5. 議論はある?

- 他 episode からの feedback や固定 task guidance でも同程度の回復点推定値が得られ、coarse failure label の一致に利点は検出されず。 - 固定 guided prompt は template-based feedback と同程度の overall success rate を示す。 - nut-insertion では center-grasp instruction が rim grasp と不整合で回復を低下させる可能性。 - robot self-repair 評価には resampling、mismatched feedback、簡潔で task-compatible な static guidance を baseline として含めるべきと議論。

6. 次に読むべき論文は?

- 要旨で比較されている resampling、mismatched feedback、fixed task guidance、template-based feedback の各手法。 - 関連する Code-as-Policy agent および execution feedback を用いる code generation 研究。 - 同分野の定番として robot manipulation における LLM-based code policy 研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Siddharth Aphale, Ayushman Singh

分類: cs.RO

原文アブストラクト

Code-as-policy agents often use execution feedback to retry failed programs. Additional sampling and task guidance can also improve success, leaving the contribution of failure-specific feedback unclear. We study this question in simulated robot manipulation. A fixed lookup selects feedback templates using failure labels and the API variant. A frozen code model generates a fresh program after each scene reset. On the same 252 initial failures, Qwen2.5-Coder-7B recovers 85.3% within five retries, compared with 68.3% for resampling with the same retry cap. The advantage persists under fixed total-token budgets. Feedback from other episodes and fixed task guidance yield similar recovery point estimates, with no detected benefit from matching the coarse failure label. In a separate study, a fixed guided prompt used from the first attempt achieves an observed overall success rate similar to that of template-based feedback. Template-based feedback also lowers recovery on a nut-insertion task requiring a rim grasp, consistent with an incompatible center-grasp instruction. Evaluations of robot self-repair should include resampling, mismatched feedback, and concise, task-compatible static guidance as baselines.

PR本紙発行元 EmplifAI