STEP: 知覚型ヒューマノイド歩行のための明示的予測を伴う時空間学習

- 知覚型 humanoid locomotion のための one-stage 学習フレームワーク STEP（Spatiotemporal Training with Explicit Prediction） - 複数の learned queries で depth と proprioceptive tokens を集約し、コンパクトな policy state を構成 - 双方向 masked prediction と action-conditioned predictor を共有制御表現内で同時に監督 - 23-DoF Noetix E1 humanoid に搭載し、オンボード sensing で実機検証

- 既存研究は terrain-aware な sensory fusion や cross-modal prediction を進めてきた - しかし feature aggregation だけでは『どの cross-modal 関係を学ぶか』を指定できない - 同時観測間の prediction は action 依存の状態変化を明示的に制約しない - STEP は cross-modal 関係と action 依存の状態発展を同一制御表現内で同時に監督する点が新しい

- 複数の learned queries が depth と proprioceptive tokens を集約し policy state を生成 - Bidirectional masked prediction：可視 modality から省略 modality の latent features を予測し、terrain-body 関係を明示的に監督 - Action-conditioned predictor：現在の policy state と実行 action から次の fused state を予測 - EMA（exponential-moving-average）target を policy 表現空間内で直接定義

- シミュレーションで fusion 代替手法および ablation と比較し、terrain traversal の全体的改善を確認 - depth-dropout と delay 実験により、視覚入力劣化時に両 predictive objective の利点を確認 - 23-DoF Noetix E1 humanoid にオンボード sensing で実装し、stairs、40cm platform、70cm gap、stepping stones、後方地形視認なしの backward stair traversal を含む 100 回中 98 回の実機 trial に成功

- 要旨からは不明（シミュレーション比較と実機 trial の結果は示されるが、限界や失敗要因の議論は記述されていない）

- 要旨で参照/比較されている既存の terrain-aware sensory fusion および cross-modal prediction 研究 - 比較対象の fusion alternatives および ablation の各手法 - 関連する humanoid locomotion の perceptive locomotion 研究（具体的な論文名は要旨からは不明）