強化学習/スキル適応2026/9/10arXiv:2609.11433

動的環境における安全意識型スキル適応強化学習

Safety-aware Skill Adaptation for Reinforcement Learning in Dynamic Environments

ガウス過程によるスキルパラメータ化と安全サブスペース事前分布・距離場クリアランス報酬を組み合わせ、動的環境で安全にロボットスキルを適応させる枠組みを提案。

詳しい要約

1. どんなもの？

動的環境でのロボットスキル適応のための、安全性を考慮した強化学習フレームワーク Dist-GPRL を提案。Gaussian Process (GP) ベースのスキルパラメータ化を基盤とし、スパースな軌道通過点の重複する局所ウィンドウを逐次適応する。安全性は HAP 由来の安全部分空間事前分布と、動的に更新される距離場クリアランス・勾配報酬で担保。軌道運動学類似正則化も導入。

2. 先行研究と比べてどこがすごい？

従来のスキル適応は固定観測や厳密な探索スケジュールなど制約的な仮定を要した。Dist-GPRL は制約を緩めつつ、安全誘導により動的・混雑環境での無制限探索の危険性と不安定性を低減。ベースラインよりタスク成功率が高く、衝突頻度が低く、学習が安定し、実機転移も実現。

3. 技術・手法の肝は？

GP ベースのスキルパラメータ化で、全軌道ではなく局所ウィンドウの通過点を逐次適応。GP 共分散構造で生のポリシー出力を相関させ、時間的に一貫した軌道更新を生成し、行動空間と credit assignment の難しさを軽減。安全誘導は HAP に基づく安全部分空間事前分布と、動的距離場のクリアランス・勾配報酬。軌道運動学類似正則化で速度・加速度特性を保持。

4. どうやって有効だと検証した？

シミュレーションで2つの動的物体操作タスクを評価し、学習済みポリシーを実世界ロボット実行に転移。実験結果はベースラインと比較してタスク成功率が高く、衝突頻度が低く、学習がより安定で、実演スキルの運動学特性を保持することを示した。

5. 議論はある？

要旨からは不明。

6. 次に読むべき論文は？

Hausdorff Approximation Planner (HAP)、Gaussian Process (GP) ベースのスキルパラメータ化、および強化学習における安全探索に関する研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: A K M Nadimul Haque, Sheila Sutjipto, Marc G. Carmichael, Teresa Vidal-Calleja

分類: cs.RO

原文アブストラクト

Skill adaptation frameworks based on reinforcement learning often require restrictive assumptions to maintain stability, such as fixed observations or tightly controlled exploration schedules. In cluttered and dynamic environments, however, unrestricted exploration can lead to unsafe behaviour and unstable learning, particularly when task-relevant observations lie near obstacles or involve moving objects. In this work, we present Dist-GPRL, a distance-aware and safety-guided reinforcement learning framework for structured robot skill adaptation. Building upon Gaussian Process (GP)-based skill parameterisation, our framework sequentially adapts overlapping local windows of sparse trajectory via-points rather than modifying the complete skill at every policy step. Raw policy outputs are correlated through the GP covariance structure, producing temporally coherent trajectory updates while reducing the action-space and credit-assignment difficulties associated with global trajectory adaptation. Safety is incorporated through two complementary forms of guidance. A safe-subspace prior derived from the Hausdorff Approximation Planner (HAP) biases policy exploration toward feasible regions, while dynamically updated distance field clearance and gradient rewards provide local obstacle awareness. A trajectory-kinematics similarity regulariser further preserves the demonstrated velocity and acceleration characteristics during adaptation. We evaluate the framework on two dynamic object-manipulation tasks in simulation and transfer the learned policy to real-world robot execution. Experimental results demonstrate higher task success, lower collision frequency, and more stable learning than the baselines, while preserving the kinematic characteristics of the demonstrated skill.

arXivで原文を読む →arXiv概要ページ

← 論文一覧