事前学習済み潜在ワールドモデルの少数ショット残差適応

Pretrained latent world model の予測が deployment 時に物理ダイナミクス変化で失敗する問題に対し、pretrained weights を変更せず、変化した物理パラメータも同定せずに、少数の interaction から適応する few-shot residual adaptation 手法を提案した研究。latent prediction error から self-supervised に補正を学習し、latent predictor 内部と予測 latent state の両方に適用する。simulation と real robot で center-of-mass shift と friction shift を対象に評価している。

- 先行研究との具体的比較は要旨からは不明。 - 既存の pretrained latent world model は visual planning/control を支えるが、deployment 時の物理ダイナミクス変化で予測が失敗し成功がほぼゼロになる。 - 本研究は pretrained weights を凍結したまま、変化した物理パラメータを同定せず、少数 interaction のみで適応できる点を特徴とする。 - 補正を latent predictor 内部と予測 latent state の dual-site に適用し、single-site より優れることを ablation で示す。

- pretrained latent world model は frozen のまま保持。 - latent prediction error を教師信号とした self-supervised な residual correction を few-shot で学習。 - 補正は (1) latent predictor の内部、(2) その predicted latent state への直接適用、の dual-site で行う。 - 変化した物理パラメータの同定を必要としない。 - 適応には少数の interaction episodes を用いる。

- simulation と real robot の両方で評価。 - center-of-mass shift と friction shift を対象に検証。 - これらの変化により frozen model の success は near zero まで低下。 - 3 interaction episodes で適応した dual-site 手法は、real robot で center-of-mass shift 下 90%、modified friction 下 100% の success を回復。 - ablation で dual-site 補正が single-site 適応を上回ることを確認。 - diagnostics により、学習された補正の多くは一般的な prediction mismatch を低減する一方、成功する control には適応中に獲得した shift-specific 情報も必要であることを示唆。

- dual-site 補正が single-site より有効であることを ablation で示す。 - diagnostics から、補正の多くは一般的な prediction mismatch の低減に対応するが、成功する control には shift-specific 情報も寄与することを示唆。 - 対象は center-of-mass shift と friction shift に限られ、他の物理変化への一般性は要旨からは不明。 - 適応に用いる interaction episodes 数や限界については要旨からは不明。

- 要旨で参照・比較されている個別研究は明示されていない。 - 関連手法として pretrained latent world model、visual planning and control、few-shot adaptation、residual adaptation、self-supervised learning が挙げられる。 - 同分野の定番として model-based reinforcement learning や latent dynamics model の文献を次に読む候補とする。