日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2611.21524

安全な文脈内強化学習のためのアルゴリズム蒸留

Algorithm Distillation for Safe In-Context Reinforcement Learning

シェア:XThreadsFacebookLINEはてブBluesky

安全制約付き文脈内RLのための改良版アルゴリズム蒸留を提案し、予算認識型教師の二段階蒸留とテスト時コスト再重み付け(A-Lag)で適応性能を向上させた。

詳しい要約

1. どんなもの?

Safe in-context reinforcement learning (Safe ICRL) において、固定パラメータの policy が未知の制約付きタスクを interaction history から改善しつつ cost を budget 内に保つ問題を扱う研究。既存の Safe Algorithm Distillation (Safe AD) が示す適応失敗(locomotion で return が負、CarGoal で goal 到達が稀)を再検討し、teacher の改善と test-time 調整 A-Lag を提案する。

2. 先行研究と比べてどこがすごい?

- 先行の Safe AD は DarkRoom, PointGoal, CarGoal, HalfCheetah, Ant の5環境で適応失敗が報告されていた。 - 本研究は teacher を budget-aware な2段階構成にし、固定 budget と動的 budget の両方で history を収集する点が新しい。 - 動的 budget は return と budget 入力の occupancy entropy を全環境で増やし、test 時に DarkRoom と HalfCheetah で return 改善と cost 低下をもたらした。 - test-time 調整 A-Lag を導入し、5環境すべてで Safe AD より平均 episode cost を下げた。

3. 技術・手法の肝は?

- budget-aware teacher を2段階で蒸留する。第1段階は隠れたタスクを探索し、budget が残るほど探索を増やす。 - 最初の reward または cost を得た後、第2段階で expert policy が残り budget 内でタスクを活用する。 - teacher の history を固定 budget または動的 budget 下で収集する。 - A-Lag は test 時に distilled policy の行動を予測 cost で再重み付けし、観測された cost から適応的に更新される Lagrange multiplier を用いる。

4. どうやって有効だと検証した?

- DarkRoom, PointGoal, CarGoal, HalfCheetah, Ant の5環境で実験。 - 動的 budget が return と budget 入力の occupancy entropy を全環境で増やすことを確認。 - test 時に DarkRoom と HalfCheetah で return 改善と cost 低下を確認。 - A-Lag は5環境すべてで Safe AD より平均 episode cost が低く、4環境で平均 final return も低いという結果。

5. 議論はある?

- A-Lag は cost を下げる一方、4環境で final return も下げており、return と cost のトレードオフが残る。 - 動的 budget の効果は DarkRoom と HalfCheetah では確認されたが、他環境での return/cost 改善は要旨からは不明。 - teacher の2段階設計や A-Lag の一般性・限界についての詳細な議論は要旨からは不明。

6. 次に読むべき論文は?

- Safe Algorithm Distillation (Safe AD) - in-context reinforcement learning (ICRL) の関連研究 - constrained RL / safe RL における Lagrangian 法 - DarkRoom, PointGoal, CarGoal, HalfCheetah, Ant を用いたベンチマーク研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Minjae Kwon, Amir Moeini, Shangtong Zhang, Lu Feng

分類: cs.LG, cs.AI

原文アブストラクト

Safe in-context reinforcement learning (Safe ICRL) asks a policy with fixed parameters to improve on an unseen constrained task from its interaction history while aiming to keep its cost within a budget. Prior work studied Safe ICRL on five benchmarks in three families: a grid world with a hidden goal and obstacles (DarkRoom), continuous navigation where goals and hazards stay invisible until reached (PointGoal, CarGoal), and locomotion with a hidden velocity limit (HalfCheetah, Ant). Safe Algorithm Distillation (Safe AD), trained on the learning histories of a safe RL algorithm, has shown adaptation failures in prior evaluations. For example, in the locomotion tasks its return stays below zero, and it rarely reaches the goal in CarGoal. We revisit two parts of Safe AD. First, we distill a budget-aware teacher with two phases. It searches for the hidden task, exploring more when more budget remains. After its first reward or cost, an expert policy exploits the task within the remaining budget. We collect the teacher's histories under fixed or dynamic budgets. Dynamic budgets increase the occupancy entropy of the return and budget inputs in every environment, and at test time they improve return and lower cost in DarkRoom and HalfCheetah. Second, we propose A-Lag, a test-time adjustment that reweights the distilled policy's actions by their predicted cost, with an adaptive Lagrange multiplier that is updated from the costs observed. In our experiments, A-Lag had lower mean episode cost than Safe AD in all five environments, with lower mean final return in four.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2Google DeepMind、ロボット向けAIを発表新製品・発表
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  5. 5SoftBank主導、Agile Robotsが5億ドル調達 NVIDIAと日立も参加資金調達

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI