ロボット方策のための効率的なテスト時適応

本論文は、ロボットlocomotionの強化学習policyが展開時の条件変化（例：rough/slippery terrain、payload変化、sensing劣化）で失敗する問題に対し、報酬なしで実行中に自己教師ありでpolicyをオンライン適応するtest-time adaptation (TTA)を研究する。出発点は、frozen pretrained criticを展開時性能の代理としてactorのみ更新する軽量baseline。これを発展させ、TEMPOを提案する。TEMPOはcritic駆動更新を安定化するtest-time entropy-regularized, memory-guided policy optimizationであり、MuJoCo PlaygroundのGo1, Go2, G1で4つの代表shiftと複数architectureにわたり一貫した改善（単一デバイス設定で最大80%向上）を示し、calf payloadを追加した実機Unitree Go2でも完全オンデバイス適応が非適応baselineを上回る。

要旨からは、先行研究との具体的な比較は不明。ただし、retrainingや手動recalibrationがオンデバイスのlatency・memory制約下で困難な状況を対象とし、報酬なしの自己教師ありTTAを実行時に行う点、さらにfrozen pretrained criticを性能代理とする軽量baselineを出発点に、entropy正則化とscore-based memoryを組み合わせてcritic駆動更新を安定化するTEMPOを導入する点が特徴。

TEMPOの肝は、(i) criticの予測分布にentropyを促進するregularizerを加え、過信的な外挿を緩和すること、(ii) prioritized replayに着想を得たscore-based memoryにより、低価値（hard）なobservationを優先し、importance samplingで限られた計算を最も情報量の多い展開条件に集中させること。これにより、厳しいshift下でのcritic駆動更新を安定化する。

MuJoCo PlaygroundのGo1, Go2, G1で4つの代表shiftと複数architectureを用い、TEMPOが一貫した改善を示し、単一デバイス設定で最大80%向上。さらに、calf payloadを追加した実機Unitree Go2で、完全オンデバイス適応が非適応baselineを上回ることをreal-world episodesで検証。

要旨からは、議論の詳細は不明。ただし、オンデバイスのlatency・memory制約下でのTTA、報酬なしの自己教師あり適応、critic駆動更新の安定化、entropy正則化とmemoryによる計算集中といった点が課題として挙げられる。

要旨で参照/比較されている研究は明示されていない。関連手法として、test-time adaptation (TTA)、prioritized replay、entropy regularization、frozen pretrained criticを性能代理とするactor-only更新、MuJoCo Playground、Unitree Go1/Go2/G1が挙げられる。同分野の定番として、domain randomization、meta-learning、online adaptation、sim-to-real transferなどが次に読むべき候補。