階層型ポストトレーニング手法「HiRoC」を提案 ロボット操作の長期的タスクに対応

何が起きたか

arXivに投稿された論文「Beyond Flat Policies: Hierarchical Post-Training for Embodied Agents in Robotic Manipulation」において、階層型ロボット制御フレームワーク「HiRoC（Hierarchical Robotic Control）」が提案された。既存のVLAモデルのポストトレーニングはフラットな方策として最適化されることが多く、長期的な操作タスクの進捗を明示的にモデル化することが難しいと指摘。HiRoCは高レベルのタスク計画と低レベルの行動実行を分離し、プランナーが複雑なタスクを実行可能なサブゴールに分解して意味的ガイダンスを提供し、実行器は強化学習を通じてサブゴール条件付きの行動生成を継続的に改善する。さらに、強化学習の前に実行器をプランナー生成のサブゴールに整合させ、計画と実行の分布のずれを軽減する。複数のロボット操作ベンチマークでの実験で、HiRoCは強いベースラインを一貫して上回ったと報告されている。

Key Facts

なぜ重要か

ロボット操作におけるVLAモデルの長期的タスク実行は、タスクの進捗を明示的にモデル化できないことが課題とされてきた。HiRoCは計画と実行を分離し、強化学習による改善を可能にする点で、長期的な操作タスクの性能向上に寄与する可能性がある。ただし、論文内の主張であり、第三者による検証はまだ行われていない。