LLM活用のカリキュラム学習手法「CurricuLLM」を提案 複雑なロボット技能の学習を効率化

何が起きたか

研究チームは、2024年9月27日にarXivで公開された論文（ID: 2409.18382v2）において、LLMを用いて強化学習のタスクカリキュラムを自動設計する「CurricuLLM」を提案した。CurricuLLMは、複雑なロボット技能の学習を効率化するため、LLMの高レベルな計画・プログラミング能力を活用する。評価は、操作、ナビゲーション、移動を含む複数のロボットシミュレーション環境で実施され、実世界ではヒューマノイドの歩行ポリシーが検証された。

詳細

カリキュラム学習は、強化学習において訓練中のタスク難易度を段階的に上げることで、複雑なポリシーの獲得を促進する訓練メカニズムである。しかし、特定のタスクに効果的なカリキュラムを設計するには、広範なドメイン知識と人間の介入が必要であり、様々な領域への適用が制限されていた。研究チームは、LLMが多様な言語データで訓練され、世界知識を内包していることから、様々なロボット環境でタスクの分解や技能の分割を効率的に行える可能性があると指摘する。また、LLMが自然言語をRLエージェントの実行可能なコードに変換する成功例も、タスクカリキュラム生成におけるLLMの役割を強化している。 CurricuLLMは3つのステップで構成される。ステップ1では、対象タスクの学習を支援するサブタスクの系列を自然言語形式で生成する。ステップ2では、サブタスクの自然言語記述を実行可能なタスクコード（報酬コードと目標分布コードを含む）に変換する。ステップ3では、軌跡ロールアウトとサブタスク記述に基づいて訓練済みポリシーを評価する。研究チームは、操作、ナビゲーション、移動などの様々なロボットシミュレーション環境でCurricuLLMを評価し、複雑なロボット制御タスクの学習を支援できることを示した。さらに、CurricuLLMで学習したヒューマノイド歩行ポリシーを実世界で検証した。プロジェクトのウェブサイトはhttps://iconlab.negarmehr.com/CurricuLLM/で公開されている。

Key Facts

なぜ重要か

CurricuLLMは、従来は人間の専門知識と介入を必要としていたカリキュラム設計をLLMで自動化することで、強化学習の適用範囲を広げる可能性がある。特に、複雑なロボット制御タスクの学習効率を向上させることが期待される。