日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

逆強化学習arXiv:2011.09999

逆強化学習による制約の学習

Inverse Constrained Reinforcement Learning

シェア:XThreadsFacebookLINEはてブBluesky

制約を守るエージェントのデモンストレーションから、そのエージェントが従っている制約をモデルフリーで学習する枠組みを提案し、学習した制約が異なる形態や報酬関数を持つ新たなエージェントにも転移可能であることを示した。

著者: Usman Anwar, Shehryar Malik, Alireza Aghasi, Ali Ahmed

分類: cs.LG, cs.RO, cs.SY, eess.SY

原文アブストラクト

In real world settings, numerous constraints are present which are hard to specify mathematically. However, for the real world deployment of reinforcement learning (RL), it is critical that RL agents are aware of these constraints, so that they can act safely. In this work, we consider the problem of learning constraints from demonstrations of a constraint-abiding agent's behavior. We experimentally validate our approach and show that our framework can successfully learn the most likely constraints that the agent respects. We further show that these learned constraints are \textit{transferable} to new agents that may have different morphologies and/or reward functions. Previous works in this regard have either mainly been restricted to tabular (discrete) settings, specific types of constraints or assume the environment's transition dynamics. In contrast, our framework is able to learn arbitrary \textit{Markovian} constraints in high-dimensions in a completely model-free setting. The code can be found it: \url{https://github.com/shehryar-malik/icrl}.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2Google DeepMind、ロボット向けAIを発表新製品・発表
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4SoftBank主導、Agile Robotsが5億ドル調達 NVIDIAと日立も参加資金調達
  5. 5パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI