日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2611.25529

言語コーチによるロボット方策の自己改善

CoachSI: Self-Improvement of Robot Policies with a Language Coach

シェア:XThreadsFacebookLINEはてブBluesky

凍結した視覚言語モデルがロボットを観察し次のサブステップを言語で指示、成功したロールアウトを事後ラベリングして方策を微調整する自己改善手法。長期的タスクの成功率が47.4%から59.3%に向上。

詳しい要約

1. どんなもの?

- 長期的タスクにおける汎用ロボットポリシーの失敗を、frozen な off-the-shelf VLM による言語コーチングで自己改善する手法 CoachSI の提案 - ポリシーは atomic skill は信頼できるが、それらを組み合わせた long-horizon task で失敗する - VLM はロボットを観察し、次のステップをポリシーの atomic instruction 形式で言語出力するだけで、行動は出力しない - 成功した coached rollout を元のタスク指示で hindsight relabel し、ポリシーを fine-tune 後、単独で展開する

2. 先行研究と比べてどこがすごい?

- ポリシー自身の経験による self-improvement は自身の分布内に留まり、既にできることを再現するだけという限界を指摘 - 不足しているのは skill ではなく『次のステップ』であると示した点が新しい - World Action Model や Vision-Language-Action model が停滞する状態でも、次ステップの命名で subgoal completion が 4.6x 向上 - 人間デモでの fine-tune より 9.8 ポイント、同データ予算の自己収集成功での fine-tune より 7.3 ポイント上回る - action backbone を frozen のままでも改善が得られる点が特徴的

3. 技術・手法の肝は?

- frozen な off-the-shelf VLM がロボットを観察し、ポリシーの atomic instruction 形式で次ステップを言語で命名するコーチとして機能 - VLM は行動を出力せず、言語による subgoal 指示のみを提供 - コーチ付きで成功した rollout を、元のタスク指示で hindsight relabel して学習データ化 - そのデータでポリシーを fine-tune し、その後はコーチなしで単独展開 - action backbone は frozen のまま、言語コーチングで『次に何をすべきか』を教える設計

4. どうやって有効だと検証した?

- World Action Model と Vision-Language-Action model が停滞する状態で、次ステップ命名により subgoal completion が 4.6x 向上することを確認 - 未見シーンでの long-horizon task の unassisted success が 47.4% から 59.3% へ向上 - 人間デモでの fine-tune を 9.8 ポイント、同データ予算の自己収集成功での fine-tune を 7.3 ポイント上回ることを比較で検証 - カメラ画像のみを見るコーチでも 56.8% に到達し、両ベースラインを上回ることを確認

5. 議論はある?

- ポリシーに欠けているのは skill ではなく次のステップであるという主張を支持する結果が示されている - action backbone を frozen にしても言語コーチングで改善できる点が議論の中心 - コーチがポリシーと同じカメラ画像から次ステップを供給できることが示されている - コーチの視覚入力がカメラ画像のみに限定された場合でもベースラインを上回る - 詳細な限界や失敗事例については要旨からは不明

6. 次に読むべき論文は?

- World Action Model - Vision-Language-Action model - frozen な off-the-shelf VLM を用いた language coaching 関連研究 - hindsight relabel を用いた policy fine-tuning 関連研究 - 人間デモによる fine-tuning との比較研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jiachen Tao, Gengyu Zhang, Haoxuan Wang, Bing Liu, Yan Yan

分類: cs.RO, cs.AI

原文アブストラクト

Generalist robot policies execute atomic skills reliably but fail when the same skills are composed into long-horizon tasks. Self-improvement from the policy's own experience does not close this gap: experience collected by the policy alone stays within its own distribution and reproduces what it can already do. We show that what the policy lacks is not a skill but the next step. We present CoachSI, a self-improvement method in which a frozen, off-the-shelf vision-language model (VLM) coaches the policy in language: it watches the robot and names the next step in the format of the policy's atomic instructions, and never outputs an action. Successful coached rollouts are relabeled in hindsight with the original task instruction and used to fine-tune the policy. The fine-tuned policy is then deployed on its own. On states where a World Action Model and a Vision-Language-Action model have stalled, naming the next step raises subgoal completion by 4.6x over the unchanged task instruction, and the frozen VLM supplies it from the same camera images the policy sees. After fine-tuning, unassisted success on long-horizon tasks in unseen scenes rises from 47.4% to 59.3%, 9.8 points above fine-tuning on human demonstrations and 7.3 points above fine-tuning on self-collected successes at an equal data budget. With a coach that sees only camera images, it reaches 56.8%, above both baselines. The gain is obtained with the action backbone frozen: language coaching teaches the policy what should happen next, and the skills it already has do the rest.

関連論文

  1. 1パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  2. 2川崎重工業のロボット外販を報道新製品・発表
  3. 3Boston Dynamics、GlobalFoundriesでAtlasを試験へ 半導体製造で2027年初頭から半導体・GPU
  4. 4NVIDIA、ヒトの動きをロボットに適応する「SOMA Retargeter」を紹介研究・技術
  5. 5丸文、RealManのロボットアームやヒューマノイドを国内販売提携・買収

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI