データ不要の連続学習を実現する世界行動モデルのための整流生成リプレイ

- World Action Model (WAM) を対象に、過去のタスクデータを一切使わずに連続学習を実現する手法。 - 事前学習済み video generation model をベースにした WAM は新規タスクに迅速に適応するが、逐次 fine-tuning で過去タスクを忘却する問題がある。 - 本研究では、WAM 自身が過去のタスクの rollouts を自己回帰的に再生成し、それを replay することで忘却を緩和できるかを検討。 - 提案手法 R$^2$-WAM (rectified generative replay) は、生成 rollouts を task completion で切り捨て、action と observation の物理的不整合を除去する。

- 従来の Experience Replay (ER) は過去タスクの実データを必要とするが、ロボティクスではポリシーが weights のみで展開され、訓練データが共有されないことが多い。 - 本研究は、WAM が自己回帰的に過去の rollouts を再生成できるという観察に基づき、データフリーな連続学習を可能にする点が新しい。 - 生の rollouts を replay するだけでは実データに遠く及ばないが、R$^2$-WAM は task completion での切り捨てと物理的不整合の除去により、過去データにアクセスせずに ER にほぼ匹敵する性能を達成。 - 逐次 fine-tuning と比較して忘却を 90% 以上削減。

- WAM の自己回帰生成能力を利用し、過去タスクの rollouts を再生成して replay する。 - 課題1: WAM がタスク完了を認識できず、完了後も無目的な動作を生成し続ける。 - 対策: agentic evaluator を用いて生成 rollouts をタスク完了時点で切り捨てる。 - 課題2: 開ループ生成下で、生成された actions が生成された observations から徐々にドリフトする。 - 対策: actions が observations と物理的に不整合な rollouts をフィルタリングする。 - これらを組み合わせた rectified generative replay (R$^2$-WAM) を提案。

- 4つの LIBERO suites と5つの実世界タスクで評価。 - 逐次 fine-tuning と比較して忘却を 90% 以上削減。 - 過去タスクのデータに一切アクセスせずに、ER にほぼ匹敵する性能を達成。 - 分析により、WAM の忘却は inverse dynamics modeling に集中していることを明らかにした。すなわち、忘却した WAM は過去タスクの視覚的に妥当な observations を生成できるが、生成 actions が失敗する。

- 生の rollouts の replay は実データの replay に大きく劣るが、その原因としてタスク完了認識の欠如と開ループ生成下での action-observation ドリフトを特定。 - これらの問題を解決することで、データフリー連続学習が可能であることを示した。 - 忘却が inverse dynamics modeling に集中するという分析結果は、WAM の連続学習における重要な洞察を提供。 - ただし、手法の限界や他のタスクへの一般化可能性については要旨からは不明。

- Experience Replay (ER) を用いた連続学習の研究。 - World Action Model (WAM) や video generation model をベースにしたロボティクス政策の研究。 - LIBERO suites を用いた連続学習ベンチマーク。 - Inverse dynamics modeling に関する研究。 - データフリー連続学習の他のアプローチ（例: generative replay を用いた手法）。