LLMがシミュレーションから実機への転移を自動化する「DrEureka」、arXivで公開

何が起きたか

2024年6月4日にarXivで公開された論文(識別番号: 2406.01967v1)において、研究チームはLLMを用いたsim-to-real転移手法「DrEureka」を提案した。この手法は、対象タスクの物理シミュレーションのみを入力とし、報酬関数とドメインランダム化分布を自動的に構築する。研究チームは、四足歩行と器用な操作タスクにおいて、既存の人間設計による設定と競合するsim-to-real設定を発見できることを示した。

詳細

シミュレーションで学習したポリシーを実世界に転移することは、ロボットスキルを大規模に獲得する有望な戦略である。しかし、従来のsim-to-realアプローチは、タスクの報酬関数とシミュレーションの物理パラメータを手動で設計・調整する必要があり、プロセスが遅く人間の労力を要する。DrEurekaは、この設計プロセスを自動化・高速化するためにLLMを利用する。 DrEurekaは、対象タスクの物理シミュレーションのみを必要とし、実世界転移を支援する適切な報酬関数とドメインランダム化分布を自動的に構築する。研究チームは、四足歩行と器用な操作タスクで、既存の人間設計の設定と競合するsim-to-real設定を発見できることを実証した。さらに、ヨガボール上でのバランスと歩行といった新規ロボットタスクを、反復的な手動設計なしで解決できることを示した。

Key Facts

なぜ重要か

この研究は、ロボットスキルの実世界展開におけるボトルネックである報酬関数設計と物理パラメータ調整の自動化を目指すものである。LLMを活用することで、人間の専門知識に依存せずにsim-to-real転移を加速できる可能性を示しており、ロボット学習のスケーラビリティ向上に寄与すると考えられる。