日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
VLAarXiv:2610.19617

言語指示に基づくロボットアームの動作制御:言語からコードへの分解と強化学習

Instruction-Conditioned Motion Control for Robotic Arms: Language-to-Code Decomposition and Reinforcement Learning

シェア:XThreadsFacebookLINEはてブBluesky

言語指示をコードに分解してロボットアームを制御する手法を提案し、強化学習で指示ポリシーを訓練。評価プロトコルも導入。

詳しい要約

1. どんなもの?

- Instruction-Conditioned Motion Control (ICMC) を提案 - 言語駆動のロボット制御を parameter specification, instruction generation, code synthesis に分離 - 実行結果を instruction と program に追跡可能にする - 対象: UR5e arm in MuJoCo - cube pick-and-place と letter-reshaping タスク - 比較: one-shot generation と ICMC を o1 と o4-mini で比較 - 学習: open-weight instruction policy を GRPO で訓練 - frozen code generator を介し、cube placement onto two- and five-cube letter layouts - 各 instruction につき5プログラムの reward を平均 - 結果: logged positive-rewa…

2. 先行研究と比べてどこがすごい?

- 先行研究との具体的比較は要旨からは不明 - ICMC の特徴: 言語駆動制御を parameter specification, instruction generation, code synthesis に分離 - 実行結果を instruction と program に traceable にする点が新しい - one-shot generation との比較を o1 と o4-mini で実施 - ただし結果の詳細は要旨に記載なし - 独立評価プロトコルを導入し、robot control と success assessment を分離 - 再現可能な評価を支援

3. 技術・手法の肝は?

- ICMC: 言語駆動ロボット制御を3段階に分離 - parameter specification, instruction generation, code synthesis - 比較: one-shot generation vs ICMC under o1 and o4-mini - 学習: open-weight instruction policy を GRPO で訓練 - frozen code generator を介す - cube placement onto two- and five-cube letter layouts - 各 instruction につき5プログラムの reward を平均 - 評価: 独立評価プロトコル - 固定仕様に基づくタスク完了チェック - robot control と success assessment を分離

4. どうやって有効だと検証した?

- タスク: cube pick-and-place と letter-reshaping for UR5e arm in MuJoCo - 比較: one-shot generation vs ICMC under o1 and o4-mini - 学習: GRPO で open-weight instruction policy を訓練 - cube placement onto two- and five-cube letter layouts - 各 instruction につき5プログラムの reward を平均 - 結果: logged positive-reward rate が 31.6% から 35.3% に上昇 (253/800 から 282/800) - ログ監査: positive binary labels と geometric-failure messages の関連を特定 - 少なくとも19件 (その run), 18件 (dense-reward run), 5件 (one program per instruction run) -…

5. 議論はある?

- logged reward rates と independently verified task success を区別 - 各 configuration の単一 training trajectory に対する記述的结果を報告 - ログ監査で positive binary labels と geometric-failure messages の関連を指摘 - 少なくとも19件 (その run), 18件 (dense-reward run), 5件 (one program per instruction run) - 一例: 全5 reward が 1.0 だがログは 0.9515 m miss against 0.05 m tolerance を報告 - verdict は program 自身の output stream から - 独立評価プロトコルを導入し、robot control と success assessment を分離 - 再現可能な評価を支援

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: one-shot generation, o1, o4-mini, GRPO, frozen code generator - 関連手法: Instruction-Conditioned Motion Control (ICMC), language-to-code decomposition, reinforcement learning - 同分野の定番: language-conditioned robot control, code generation for robotics, MuJoCo, UR5e - 具体的な論文名は要旨に記載なし

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Fan Huang, Dezhong Tong, Changyu Chen, Haewoon Kwak, Jisun An

分類: cs.RO, cs.AI

原文アブストラクト

Instruction-Conditioned Motion Control (ICMC) separates parameter specification, instruction generation, and code synthesis for language-driven robot control, making execution outcomes traceable to instructions and programs. We compare one-shot generation with ICMC under o1 and o4-mini on cube pick-and-place and letter-reshaping tasks for a UR5e arm in MuJoCo. We then train an open-weight instruction policy by GRPO through a frozen code generator on cube placement onto two- and five-cube letter layouts, averaging the rewards of five programs per instruction. The logged positive-reward rate rose from 31.6% to 35.3% (253/800 to 282/800) between the first and last five training steps. A log audit identifies positive binary labels associated with geometric-failure messages: at least 19 in that run, 18 in the dense-reward run, and 5 in the run with one program per instruction. In one case, all five rewards were 1.0 while the log reports a 0.9515 m miss against a 0.05 m tolerance; the verdict came from the program's own output stream. We distinguish logged reward rates from independently verified task success and report descriptive results for each configuration's single training trajectory. We introduce an independent evaluation protocol that checks task completion against fixed specifications, separating robot control from success assessment to support reproducible evaluation.

関連論文

PR本紙発行元 EmplifAI