日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
歩行arXiv:2608.16164v1

不整地での脚式移動のための軌跡レベル自動カリキュラム学習

Trajectory-Level Automatic Curriculum Learning for Legged Locomotion on Unstructured Terrain

シェア:XThreadsFacebookLINEはてブBluesky

不整地での脚式移動ポリシー学習において、地形マップから直接タスクを生成する軌跡レベルの自動カリキュラム学習フレームワークを提案し、成功率を大幅に向上させた。

詳しい要約

1. どんなもの?

本論文は、不整地での脚式ロコモーション(legged locomotion)のポリシー学習において、軌道レベルで自動カリキュラム学習(Trajectory-Level Automatic Curriculum Learning)を行うフレームワークを提案する。従来のカリキュラム設計はパラメータ化された地形に基づくヒューリスティックなものであったが、本手法は不整地マップから直接タスク(軌道)を生成し、評価器(evaluator)が現在のポリシーに対する難易度を学習し、サンプラーがその難易度に基づいて新しい軌道を提案する閉ループを形成する。これにより、ポリシーの進化に合わせてカリキュラムを適応させる。

2. 先行研究と比べてどこがすごい?

先行研究では、不整地の明示的な難易度順序が存在しないため、パラメータ化された地形に対するヒューリスティックなカリキュラムを用いていた。しかし、この抽象化はポリシーがほぼ固定された知覚パターンに過適応し、汎化性を制限する。本手法は、地形マップから直接軌道タスクを生成することで、この抽象化を回避し、ポリシーの進化に応じてカリキュラムを動的に調整する点が新しい。

3. 技術・手法の肝は?

手法の核は、評価器(evaluator)とサンプラー(sampler)の閉ループである。各カリキュラム更新時に、評価器は現在のポリシーに対する軌道タスクの難易度関数を学習する。サンプラーはその評価器に導かれ、次のポリシー更新のための新しい軌道を提案する。これにより、カリキュラムがポリシーの進化に合わせて反復的に調整される。

4. どうやって有効だと検証した?

定量的・定性的実験により、不整地での有効なカリキュラムを継続的に提供できることを示した。直接訓練(カリキュラムなし)と比較して軌道成功率を56.3%向上させた。また、手作りのカリキュラム学習と比較して、最も難しい地形タスクでは成功率を18.5%向上させ、同じ障害物タイプに対する多様な接近方向からの横断評価では最大39.74%向上させた。

5. 議論はある?

要旨からは、提案手法の限界や潜在的な問題についての議論は不明である。ただし、カリキュラム学習の一般的な課題として、評価器の学習安定性やサンプラーの探索効率などが考えられるが、要旨には明記されていない。

6. 次に読むべき論文は?

要旨で参照されている先行研究は明示されていないが、関連する手法として、パラメータ化された地形に基づくヒューリスティックなカリキュラム学習(handcrafted curriculum learning)が挙げられる。また、脚式ロコモーションのポリシー学習におけるカリキュラム学習の一般的な研究や、自動カリキュラム学習(Automatic Curriculum Learning)の分野の論文が関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Rocky Liu, Tengyu Liu, Baoxiong Jia, Fangwei Zhong, Xinyi Tong, Hongzhao Xie, Siyuan Huang

分類: cs.AI, cs.RO

原文アブストラクト

Training locomotion policies for complex unstructured terrain requires a curriculum to avoid early exploration failures. However, since unstructured terrain lacks explicit difficulty ordering for curriculum design, existing methods resort to heuristic curricula over parameterized terrains. This abstraction limits generalization, as policies can overadapt to near-fixed perceptual patterns. To address this, we propose \textbf{\ourname{}}, an \textbf{T}rajectory-level \textbf{A}utomatic \textbf{C}urriculum \textbf{L}earning framework that generates training tasks directly from unstructured terrain maps. At each curriculum update, the evaluator learns a difficulty function for the current policy that maps a given trajectory task to a difficulty score. The sampler then proposes new trajectories guided by the learned evaluator as the curriculum for the next policy update. This forms a closed loop in which the curriculum is iteratively matched to the evolving policy. Quantitative and qualitative experiments show that \ourname{} continuously provides effective curricula on unstructured terrain, improving trajectory success rate by \(56.3\%\) over direct training without curriculum. Compared with handcrafted curriculum learning, our method improves success rate by \(18.5\%\) on the hardest terrain tasks and by up to \(39.74\%\) when evaluating traversal from diverse approach directions on the same obstacle type.