ヒューマノイドの地平線：並列訓練・動的開始・報酬ゲーティングによる全身ロコマニピュレーションのタスク時間拡張

本論文は、散らかった屋内環境で人間型ロボットが複数の大きく重い物体を、1エピソード内で順に移動・把持・運搬・配置する long-horizon whole-body loco-manipulation タスクに取り組む。この課題に対し、Humanoid Horizon と呼ぶ unified policy framework を提案する。3つの interrelated mechanisms を組み合わせ、2物体の LHM-Humanoid benchmark で per-stage success rate 80% 超を達成したと報告する。物体数が2を超えると success は horizon とともに低下するが、baselines の急落に比べ graceful な劣化を示す。

先行手法は主に2つの問題を抱える。1つは easy-reward bias で、訓練が early transport stages を過度に重視し later stages が犠牲になる。もう1つは catastrophic forgetting で、later stages に注力すると earlier-stage performance が低下する。本手法は Parallel Training Strategy、Dynamic Starting Mechanism、Reward Gating を組み合わせ、全 transport stages に継続的な gradient updates を与え、stage boundaries の robustness を高め、just-placed object を乱さないよう shared policy を学習させる点で先行研究と異なる。

核となるのは3つの interrelated mechanisms。Parallel Training Strategy は N 個の scenes を S 個の concurrent stage streams に組織し、shared policy で統治することで全 transport stages に連続的な gradient updates を保証し、sequential optimization の bottleneck を除去する。Dynamic Starting Mechanism は各 environment の initial state を upstream rollouts の terminal states で更新し、transition coverage を徐々に広げ stage boundaries での robustness を強化する。Reward Gating は later-stage streams において、直前の object が設定 threshold を超えて変位した場合、残りの episode の reward を zero にし、sha…

LHM-Humanoid benchmark 上で検証している。この benchmark は 350 training scenes と 66 held-out scenes から構成される。2-object 設定で per-stage success rates が 80% を超えることを示した。また、sequentially transported objects の数を2より増やすと success は horizon とともに低下するが、その劣化は all baselines に見られる sharp drop と比較して graceful であると報告している。

本論文は easy-reward bias と catastrophic forgetting という2つの主要問題を明示し、それらを3 mechanisms で克服する枠組みを提示している。2-object 設定では高い per-stage success rate を示す一方、物体数が2を超えると success が horizon とともに低下することを認めており、長い horizon への拡張性が課題として残る。ただし、具体的な failure modes や限界の詳細、計算コスト、実機への転移性については要旨からは不明。

要旨で参照・比較されている具体的な先行研究名は明示されていない。関連手法として、long-horizon loco-manipulation における curriculum learning、multi-stage reinforcement learning、catastrophic forgetting 対策、shared policy による並列訓練、reward shaping などが挙げられる。同分野の定番としては、humanoid loco-manipulation の benchmark や whole-body control に関する研究が次に読むべき候補となる。