HuGo: ヒューマノイドの移動操作のための全身ポリシーコードを設計するLLM

ヒューマノイドのloco-manipulationを対象に、LLMで高レベルpolicyコードを生成する階層的手法HuGoの提案。 - タスク記述から実行可能なclosed-loop高レベルpolicyコードをLLMが生成。 - 凍結した低レベルwhole-body policyの上に構築。 - タスク毎のreward設計やdemonstration収集を不要にする狙い。

従来はreward engineeringやdemonstrationに続くタスク特化学習が必要で、新タスクへの拡張コストが高い。 - HuGoはタスク毎のreward設計やdemonstration収集なしで性能を達成。 - 5つのsimulationタスクで高レベルRL baselineを大幅に上回り、demonstration-based baselineに迫る。 - 同一refinement loopを実世界rolloutに適用し、専門家demonstrationやpolicy再学習なしで転移性能を改善。

階層的アプローチ。 - LLMがタスク記述・observation・command仕様から高レベルpolicyコードを生成。 - 凍結された低レベルwhole-body policy上でclosed-loop実行。 - rolloutの数値trajectoryと選択video frameを用いてfeedbackとtargeted code updateを行いpolicyをrefine。

5つのsimulationタスクで2種類の低レベルpolicyを用いて評価。 - 高レベルRL baselineを大幅に上回る。 - demonstration-based baselineに迫る性能。 - simulation生成policyのhardwareへのzero-shot転移を実証。 - 実世界rolloutへの同refinement loop適用で転移性能がさらに改善。

タスク毎のreward設計やdemonstration収集なしで性能を達成できる点を主張。 - 実世界rolloutへのrefinement適用が専門家demonstrationやpolicy再学習なしで有効。 - 限界や失敗事例、計算コスト、安全性などの議論は要旨からは不明。

要旨で参照/比較されている研究: 高レベルreinforcement learning baseline、demonstration-based baseline。 - 関連手法: reward engineering、demonstration、task-specific training、frozen low-level whole-body policy、LLMによるpolicy code generation。 - 同分野の定番: humanoid loco-manipulation、hierarchical RL、whole-body control。