日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
継続学習arXiv:2611.05029

力学リスク適応型可塑性による物理AIの継続学習

DRAP: Dynamics-Risk Adaptive Plasticity for Continual Learning in Physical AI

シェア:XThreadsFacebookLINEはてブBluesky

軌道増幅リスクで重み付けした勾配からテンソル重要度を推定し、動的に敏感な箇所の可塑性を抑えるリプレイ不要の継続学習手法DRAPを提案。OpenVLAでLIBEROの逐次適応において忘却を大幅に低減。

詳しい要約

1. どんなもの？

- physical AI における continual learning の新手法 DRAP を提案する研究 - 従来の continual learning との違いとして、per-step の小さな policy error が trajectory 上で累積し closed-loop task failure を招く点を強調 - replay-free な手法で、tensor 単位の importance を推定し plasticity を制御する - OpenVLA の KappaTune で選択した固定 subnetwork 上に実装 - LIBERO の Spatial, Object, Goal スイートで評価

2. 先行研究と比べてどこがすごい？

- 標準的な AdamW fine-tuning や EWC と比較して、以前に学習した behavior の保持 (retention) を大幅に改善 - 新スイートの獲得 (new-suite acquisition) も強く維持 - 従来の continual learning が per-step 誤差の trajectory 上の累積を明示的に扱わないのに対し、dynamics の risk を importance に組み込む点が特徴 - replay を用いない点も先行の replay-based 手法との差異

3. 技術・手法の肝は？

- sample-level action gradient を local trajectory-amplification risk で重み付けし、tensor の歴史的重要度を推定 - ridge-regularized local linear model を expert state-action transition に適合 - その state-transition matrix の最大特異値を、policy 非依存の Lyapunov-inspired な one-step perturbation amplification 推定に使用 - 各タスク後に risk-weighted squared gradient を tensor-level importance memory に蓄積 - 後続タスクでは正規化した累積重要度で各 tensor の実効 AdamW learning rate をスケールし、動的に敏感な trajectory 点で過去行動を支えた成分の plasticity を即座に低減

4. どうやって有効だと検証した？

- OpenVLA の KappaTune-selected subnetwork 上で DRAP を実装 - LIBERO の Spatial, Object, Goal スイートにわたる replay-free sequential adaptation を評価 - 標準 AdamW fine-tuning および EWC との比較で、以前の behavior の保持が大幅改善しつつ新スイート獲得も維持されることを示した

5. 議論はある？

- 要旨からは不明 - 明示的な limitation や failure case、計算コスト、他手法との詳細な議論は要旨に記載なし

6. 次に読むべき論文は？

- EWC (Elastic Weight Consolidation) - AdamW fine-tuning - OpenVLA - KappaTune - LIBERO (Spatial, Object, Goal) - replay-based continual learning 手法（一般名）

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Oswaldo Ludwig

分類: cs.LG, cs.RO

原文アブストラクト

Continual learning in physical AI differs from conventional continual learning because small per-step policy errors can accumulate over a trajectory. Each deviation may move the agent outside the training distribution, increase subsequent prediction errors, and ultimately cause closed-loop task failure. This work introduces Dynamics-Risk Adaptive Plasticity (DRAP), a replay-free method that estimates the historical importance of adaptable model tensors from sample-level action gradients weighted by local trajectory-amplification risk. A ridge-regularized local linear model is fitted to expert state-action transitions, and the largest singular value of its state-transition matrix provides a policy-independent, Lyapunov-inspired estimate of one-step perturbation amplification. After each task, risk-weighted squared gradients are accumulated in a tensor-level importance memory. During subsequent tasks, DRAP uses normalized cumulative importance to scale the effective AdamW learning rate of each tensor, immediately reducing the plasticity of components that supported previous behavior at dynamically sensitive trajectory points. We instantiate DRAP on a fixed KappaTune-selected subnetwork of OpenVLA and evaluate replay-free sequential adaptation across the LIBERO Spatial, Object, and Goal suites. Compared with standard AdamW fine-tuning and EWC, the results show substantially improved retention of previously learned behaviors while preserving strong new-suite acquisition.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI