継続学習/世界モデル2026/10/2arXiv:2610.03713

世界モデルは何を忘れるべきか？適応的継続のための層別保持

What Should World Models Forget? Stratified Retention for Continual Adaptation

世界モデルにおける継続学習では、物理法則などの不変知識と環境変化に応じて更新すべき事実を区別し、不変知識の保持と更新遅延を別々に評価する手法を提案する。

詳しい要約

1. どんなもの？

- 継続学習の世界モデルへの適用を論じた論文。 - 世界モデルでは予測対象が環境であり非定常であるため、獲得した知識が後で誤りになることがあり、破棄は欠陥ではなく必要な振る舞いだと主張。 - 不変な知識（物理法則やobject permanence）と、環境変化に応じて改訂すべきinstance-level factsを区別し、invariance timescaleに基づくstratified retentionを提案。 - 標準的な忘却指標は、正しい改訂とcatastrophic forgettingを区別できず、frozen modelを最高評価にする問題を指摘。 - differential retentionを提案し、adaptation stream全体でのinvariant regression testingとrevision latencyを集約せずに報告する。

2. 先行研究と比べてどこがすごい？

- 従来の継続学習は定常な予測ターゲットを前提とし、過去データでの性能低下を失敗とみなす。 - 世界モデルは予測ターゲットが変化するため、この前提が成り立たないことを指摘。 - 非定常なground truthはconcept drift文献や言語モデルのtemporal factualityで研究されているが、世界モデル向けに定式化されていなかった。 - 世界モデルは改訂してはならない知識も符号化する点で独特。 - 既存の物理推論ベンチマークはfrozen checkpointsのみを評価し、標準的な忘却指標はfrozen modelを最高位にするため、適応を評価できない。

3. 技術・手法の肝は？

- 継続世界モデルにはinvariance timescaleで層別化したretentionが必要だと主張。 - 不変な知識（physics, object permanence）と、環境変化に応じて即座に改訂すべきinstance-level factsを分離。 - differential retentionを提案：adaptation streamにわたるinvariant regression testingとrevision latencyを集約せずに報告。 - これにより、正しい知識改訂とcatastrophic forgettingを区別可能にする。

4. どうやって有効だと検証した？

- 要旨からは不明。 - 具体的な実験や検証方法は記述されていない。

5. 議論はある？

- 標準的な忘却指標は、正しく古い知識を改訂した世界モデルとcatastrophic forgettingを起こしたモデルを区別できず、frozen modelを最高評価にする問題を議論。 - 既存の物理推論ベンチマークはfrozen checkpointsのみを評価するため、適応を評価できない点を指摘。 - 非定常なground truthの研究（concept drift, temporal factuality）はあるが、世界モデル向けの定式化が欠けていることを議論。

6. 次に読むべき論文は？

- concept drift文献 - 言語モデルのtemporal factuality研究 - 物理推論ベンチマーク（具体的名称は要旨に無し） - 継続学習におけるcatastrophic forgetting関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Nishit Anand, Ramani Duraiswami, Dinesh Manocha

分類: cs.LG, cs.AI, cs.CV, eess.IV, eess.SP

原文アブストラクト

Continual learning treats degradation on previously seen data as evidence of failure, a convention inherited from settings with a stationary prediction target, where a correct label remains correct indefinitely. World models do not satisfy this condition. Their prediction target is the environment, which changes, so knowledge that was accurate when acquired may later become false, and discarding it is required behavior rather than a defect. Non-stationary ground truth is well studied in the concept drift literature and in the temporal factuality of language models, but has not been formulated for world models, which are distinctive in that they also encode knowledge that must never be revised. We argue that continual world models require retention stratified by invariance timescale, separating invariants such as physics and object permanence, which must never be revised, from instance-level facts that should be revised as soon as the environment changes. Standard forgetting metrics cannot distinguish a world model that has correctly revised outdated knowledge from one that has suffered catastrophic forgetting, and consequently rank a frozen model highest, while existing physical-reasoning benchmarks evaluate only frozen checkpoints. We propose differential retention, which reports invariant regression testing across the adaptation stream jointly with revision latency, without aggregation.

arXivで原文を読む →arXiv概要ページ

← 論文一覧