予測ではなく計画のために適応せよ：楽観的テスト時ワールドモデル適応

- テスト時適応(TTA)を用いて、latent world model をプランニング向けに適応させる手法 OpTTA を提案した研究。 - 従来 world model はオフラインで事前学習しテスト時は凍結されるため、distribution shift 下で planning 性能が劣化する問題を扱う。 - planning における TTA は closed-loop であり、planner の rollouts が次の更新を駆動する点を強調。 - 適応の目的関数として prediction loss に加え、planner の goal-reaching cost を組み込む。

- prediction-only 目的の TTA(AdaJEPA)では、モデルは自身の行動結果にのみ適合し、goal 到達に必要な行動について誤ったままになり得る。 - 低い prediction error が必ずしも良い planning につながらないという問題を指摘。 - adaptive control の reward-biased maximum likelihood に着想を得て、goal 到達に対して楽観的なモデルへ適応を偏らせる点が新規。 - 追加の environment interaction なしでこれを実現する。

- OpTTA の目的関数は2項から成る。 - 観測された transitions に対する prediction loss。 - planner の candidate rollouts に対する goal-reaching cost。 - 両項をモデルパラメータについて最小化する。 - planning 項により、goal 到達に楽観的なモデルへ適応を bias する。 - predictor のみ適応する設定と、encoder も適応する設定の両方を扱う。

- manipulation、reaching、navigation タスクで、visual shift と environment shift を対象に評価。 - 3つの JEPA world model(異なる encoder と training objective)で実験。 - temporal straightening については CEM と gradient-based planner の両方を使用。 - predictor のみ適応時、最終 planning success が frozen model 比で平均 +13.5 ポイント(AdaJEPA は +6.9)。 - encoder も適応時は +13.5 ポイント(AdaJEPA は +7.5)。

- 結果は、planning 向け world model の TTA において prediction loss に加えて楽観的で task-aware な項が有効であることを示唆。 - prediction-only 目的の限界と、closed-loop TTA における目的関数設計の重要性を議論。 - 要旨からは不明: 計算コスト、適応の安定性、他タスクへの一般化、失敗事例の詳細な議論。

- AdaJEPA(prediction-only TTA の比較対象)。 - JEPA world model 関連研究(実験で用いられた3種のモデル)。 - reward-biased maximum likelihood(adaptive control の着想元)。 - CEM および gradient-based planner に関する planning 研究。 - distribution shift 下の model-based RL / test-time adaptation の関連手法。