ヒューマノイドの動作追跡、遅延を学習時にランダム化すると耐性向上

何が起きたか

2026年10月23日掲載の研究は、24関節のヒューマノイドを対象に、指令遅延を学習中に0〜50 msでランダム化する手法を検証した。40 msの一定遅延を与えたとき、ランダム化なしのポリシーの平均生存率は15%（0〜45%）だったのに対し、ランダム化ありでは95%（75〜100%）となった。遅延余裕は20〜30 msから50〜70 msに広がった。

詳細

研究では、単眼動画から得た5種類の動作を追跡するポリシーを学習し、独立したCPU版MuJoCo環境で評価した。学習時のランダム化条件では、各ポリシーが30エピソード中少なくとも26エピソードで動作を完遂した。遅延なしで追加学習した比較群では改善が見られず、研究は効果を遅延のランダム化に結びつけている。この結果は5動作それぞれで3つの学習シードを用いて確認され、PhysXで学習したポリシーでも同様だった。 一方、4動作では追跡誤差が0.02〜0.06 rad大きくなり、最も動的な動作では他の摂動への耐性が低下した。研究は、最初に観察されたシミュレーション間の差について、物理エンジンではなく、評価ハーネスの床面欠落とタイムステップの誤りが原因だったとしている。

Key Facts

本紙の見方

結果の要点は、学習量を増やすことではなく、学習時に経験させる遅延の分布を変えた点にある。40 ms遅延時の平均生存率は15%から95%へ80ポイント上がり、遅延余裕も20〜30 msから50〜70 msへ移った。同じ回数だけ遅延なしで追加学習した比較群は改善しなかったため、少なくともこの実験では、改善を単純な学習反復の増加では説明できない。遅延を含む条件を学習データに組み込むことが、遅延に対する頑健性にどう関わるかを切り分けた結果と読める。 評価の組み方も重要だ。研究は単眼動画由来の5動作を、学習環境とは別のCPU MuJoCo環境で試し、各動作に3つの学習シードを用いた。さらにPhysXで学習したポリシーでも同傾向を確認した一方、最初に見つかったシミュレーション間の差は、物理エンジンの違いではなく、評価ハーネスの床面欠落とタイムステップの誤りだったとしている。つまり、ポリシーの性能差を論じる前に、評価環境そのものの整合性を確認する必要がある。研究が遅延余裕をシミュレーション間評価の指標に加えるべきだとする背景には、この検証上の論点がある。 また、学習時に一般的な歩行学習で用いられる0〜20 msの範囲にとどめるのではなく、ランダム化の範囲をポリシーが元から持つ遅延余裕より広げることに効果があったと報告している。ただし、範囲はロボットで測定した遅延に基づいて設定すべきだというのが研究の提案であり、0〜50 msがあらゆる機体に適するという結論ではない。追跡誤差は4動作で0.02〜0.06 rad増え、最も動的な動作では別の摂動への耐性が落ちた。遅延耐性だけを高める調整が、動作精度や他の外乱への頑健性と両立するかは、用途ごとに確かめる必要がある。提示された結果はシミュレーション評価であり、実機で測った遅延の分布や実機での動作結果は、この掲載情報からは確認できない。

なぜ重要か

学習済みヒューマノイドの動作追跡では、40 msの指令遅延に対する平均生存率が、学習時の遅延ランダム化によって15%から95%に変わった。研究は遅延範囲をロボットで測定した遅延に基づいて設定するよう提案しており、シミュレーション上の追跡性能だけでなく、遅延余裕を検証項目に加える根拠となる。