SOLO: 安定した全地形・長距離知覚ヒューマノイド歩行

SOLOは、長距離・複雑地形でのヒューマノイド移動を安定して行うための統合フレームワーク。深度カメラとプロプリオセプションを用いた知覚に基づく移動ポリシーを提案し、長期的なタスクにおける破損（fragility）を軽減する。具体的には、Query Reconstructor (QR)による高精細な地形再構成と、Trajectory-Aware MSE (TA-MSE) Distillationによる時間的クレジット割り当ての改善を組み合わせる。

従来の知覚ヒューマノイドポリシーは、知覚誤差と制御誤差が蓄積し、長期的なタスクで不安定になる。SOLOは、この原因を2つ特定し対処する。1つは、密な地形再構成がアクションに重要な詳細を平滑化してしまう問題で、QRがフーリエ符号化セルクエリを用いて空間的に特異な証拠を取得し、地形の境界を保持する。もう1つは、点ごとの模倣が時間的クレジット割り当てを欠く問題で、TA-MSEが次状態の教師-生徒不一致をPPO報酬に追加し、Generalized Advantage Estimationが将来の不一致ペナルティを先行アクションに伝播させる。これにより、シミュレーションでの高さマップ誤差を3.3-4.0倍削減し、カリキュラム進行でPPOやMSE+PPOを上回る。

手法の核は2つ。1つ目はQuery Reconstructor (QR)で、フーリエ符号化されたセルクエリを使用して、深度-プロプリオセプショントークンから空間的に特異な証拠を取得し、鋭い地形境界を保持する高密度な地形再構成を実現する。2つ目はTrajectory-Aware MSE (TA-MSE) Distillationで、次状態の教師-生徒不一致をPPO報酬に追加し、Generalized Advantage Estimation (GAE)が将来の不一致ペナルティを先行アクションに伝播させることで、時間的クレジット割り当てを改善する。

シミュレーションで、QRが高さマップL1誤差を3.3-4.0倍削減し、TA-MSEがPPOやMSE+PPOをカリキュラム進行で上回ることを検証。ストレステスト地形では、SOLOが平均97.5%のトラバーサル成功率、96%のステッピングストーン成功率を達成し、密な再構成バリアントの75.0-75.6%と0-3%を大幅に上回った。さらに、胸部深度カメラとプロプリオセプションのみを用いたゼロショット展開で、連続1.5kmの屋外ルートと屋内混合地形コースを完了した。

要旨からは、議論の詳細は不明。ただし、提案手法がシミュレーションと実機で有効性を示す一方で、長期的なタスクにおける堅牢性の限界や、他の地形タイプへの一般化、計算コストなどが議論の対象となる可能性がある。また、QRとTA-MSEの組み合わせがどのように相互作用するか、各コンポーネントの寄与度なども議論されうる。

要旨で参照されている関連研究として、PPO (Proximal Policy Optimization)やMSE (Mean Squared Error)ベースの模倣学習、Generalized Advantage Estimation (GAE)、および知覚ヒューマノイド移動に関する既存研究が挙げられる。具体的には、密な地形再構成を用いた手法や、点ごとの模倣学習を用いた手法が関連する。次に読むべき論文としては、これらの基礎となる強化学習アルゴリズムや、ヒューマノイドの知覚移動に関するサーベイ論文が考えられる。