モデルベースRL2026/9/10arXiv:2609.12278

モデルベース強化学習のための償却低ランク適応

Amortized Low-Rank Adaptation for Model-Based Reinforcement Learning

ハイパーネットワークでテスト時にLoRAアダプタを生成し、世界モデルを少数の相互作用で未知環境に適応させる手法CLAWを提案。

詳しい要約

1. どんなもの？

- テスト時環境にWorld modelを適応させる問題を扱う。 - 既存手法は計算コストと表現力のトレードオフがある。 - CLAWを提案：hypernetworkでテスト時にLoRAアダプタを生成。 - 事前学習で多様な環境への適応をシミュレートし、hypernetworkとbase world modelを共同学習。 - テスト時はbase modelを凍結し、少数の遷移からアダプタを生成。 - locomotionとmanipulation環境で評価。

2. 先行研究と比べてどこがすごい？

- 既存のin-context learningは計算安価だが表現力限定。 - gradient-based adaptationは表現力高いが計算高コスト。 - CLAWはhypernetworkでLoRAアダプタを生成し、両者のトレードオフを解決。 - テスト時数秒のデータでgradient-based adaptationとin-context learningを上回る。 - データ希薄領域での過学習を回避。 - 利点はcontext conditioningではなく表現力豊かなアダプタによる。 - hypernetworkとbase modelの共同学習が事後学習より優れる。

3. 技術・手法の肝は？

- hypernetworkを用いてテスト時にlow-rank (LoRA) adaptersを生成。 - 事前学習中に様々な環境への適応をシミュレートし、hypernetworkとbase world modelを jointly train。 - テスト時はbase modelを凍結し、hypernetworkのforward passで少数のテスト時遷移からアダプタを生成。 - これにより計算コストを抑えつつ表現力の高い適応を実現。

4. どうやって有効だと検証した？

- locomotionとmanipulation環境ファミリーで評価。 - 環境はdynamics, embodiment, rewardが変化。 - テスト時数秒のデータで、gradient-based adaptationとin-context learningを上回ることを示す。 - データ希薄領域での過学習回避を確認。 - 利点が表現力豊かなアダプタによることを検証。 - hypernetworkとbase modelの共同学習が事後学習より優れることを示す。

5. 議論はある？

- 要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究：in-context learning, gradient-based adaptation, LoRA, hypernetwork。 - 関連手法：world models, model-based reinforcement learning。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Fernando Palafox, David Fridovich-Keil

分類: cs.LG, cs.AI, cs.RO

原文アブストラクト

World models let agents plan by predicting the consequences of their actions, but changes in the environment can make them inaccurate. We study the problem of adapting a world model to an unknown test-time environment, drawn from a known environment family, using only a few episodes of interaction. Existing approaches trade off computational cost against expressivity, i.e., the range of models a method can produce. For example, in-context learning is computationally cheap but limited in expressivity, and gradient-based adaptation is expressive but computationally expensive. We present CLAW (Context-conditioned Low-rank Adaptation of World models), which addresses this tradeoff by using a hypernetwork to generate low-rank (LoRA) adapters at test time. During pretraining, we simulate adaptation to a variety of environments and jointly train the hypernetwork and base world model. At test time, we freeze the base model and use a forward pass of the hypernetwork to generate adapters from a small batch of test-time transitions. We evaluate CLAW in locomotion and manipulation environment families that vary in dynamics, embodiment, and reward. We show that, using only seconds of test-time data, CLAW outperforms gradient-based adaptation and in-context learning during online adaptation. We also show that CLAW avoids overfitting in data-scarce regimes, that its advantage comes from the expressive adapters rather than context conditioning, and that pretraining the hypernetwork jointly with the base model outperforms training it post hoc.

arXivで原文を読む →arXiv概要ページ