VLA2026/8/14arXiv:2608.14944v1

SkillComposer: 自然言語によるロボットプログラミングのための再利用可能なスキル学習

SkillComposer: Learning Reusable Skills for Natural-Language Robot Programming

自然言語でロボットに複雑なタスクを指示する際、LLMが多段階の指示を分解したり過去の解決策を再利用したりするのが難しい問題に対し、生成とテストを繰り返すアーキテクチャと、成功したプログラムから再利用可能なマクロスキルを自動学習する手法を提案した。

詳しい要約

1. どんなもの？

SkillComposerは、シミュレーション環境向けの対話型自然言語ロボットプログラミングシステムである。ユーザーが自然言語でタスクを指示すると、LLMがロボットプログラムを生成・修正し、実行前に検証するgenerate-testアーキテクチャを採用する。成功したプログラムはオンラインライブラリ学習アルゴリズムによって処理され、繰り返し現れる関数シーケンスが再利用可能なマクロスキルとして圧縮・蓄積される。これにより、複雑なマルチステップタスクや高レベル指示の分解、過去の解決策の再利用が可能になる。

2. 先行研究と比べてどこがすごい？

既存の自然言語インターフェースは単純なコマンドには有効だが、複雑なタスクやマルチステップの指示に対しては、LLMがコード生成に失敗したり、指示を分解できなかったり、過去の解決策を再利用できないという問題があった。SkillComposerは、generate-testアーキテクチャとオンラインライブラリ学習を組み合わせることで、これらの問題を解決し、継続的にスキルを学習・蓄積する点が新しい。

3. 技術・手法の肝は？

手法の核は、LLMによるプログラム生成と修正を実行前に繰り返すgenerate-testアーキテクチャと、成功したプログラムから繰り返し出現する関数シーケンスを圧縮してマクロスキルを自動生成するオンラインライブラリ学習アルゴリズムである。評価者ガイド付き生成（evaluator-guided generation）により、プログラムの品質を向上させる。

4. どうやって有効だと検証した？

操作タスクとロボット介護タスクにおいて、アブレーション実験と12名の参加者によるユーザースタディを実施した。その結果、評価者ガイド付き生成と学習された抽象化が、成功率とユーザビリティを向上させ、ユーザーの労力を削減することが示された。

5. 議論はある？

要旨からは、システムの限界や特定のタスクでの失敗事例、実環境での適用可能性、スケーラビリティ、ユーザースタディの詳細（参加者の属性やタスクの難易度など）は不明である。また、学習されたスキルの汎化性や、シミュレーションから実ロボットへの転移についても言及がない。

6. 次に読むべき論文は？

要旨で参照されている研究は明示されていないが、関連手法としてLLMを用いたコード生成、プログラム合成、ロボットプログラミングのための自然言語インターフェース、スキル学習（skill learning）などが挙げられる。具体的には、LLMによるコード生成（Codexなど）、ロボットのタスクプランニング、階層的強化学習などが関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: John Woods, Hasti Seifi

分類: cs.RO, cs.CL, cs.LG

原文アブストラクト

Natural-language interfaces can lower the barrier to programming robots, but existing systems struggle when users request complex tasks. While large language models (LLMs) perform well with simple commands, they often struggle to generate code for multi-step tasks, decompose high-level instructions, or reuse prior solutions. We present SkillComposer, an interactive natural-language robot programming system for simulation environments that continually learns reusable program abstractions. SkillComposer uses a generate-test architecture in which an LLM iteratively generates and revises robot programs before execution. Successful programs are stored and processed by an online library-learning algorithm that compresses recurring function sequences into reusable macro skills for future tasks. We evaluate SkillComposer through ablation experiments and a user study with 12 participants to determine its effectiveness on manipulation and robot caregiving tasks. The results show that evaluator-guided generation and learned abstractions improve success rates and usability while reducing user effort in natural-language robot programming.

arXivで原文を読む →arXiv概要ページ

← 論文一覧