日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:1002.1480

割引なしマルコフ決定過程のための最小相対エントロピー制御器

A Minimum Relative Entropy Controller for Undiscounted Markov Decision Processes

シェア:XThreadsFacebookLINEはてブBluesky

未知のダイナミクスを持つ割引なしMDPに対し、相対エントロピー最小化に基づくベイズ制御則(BCR-MDP)を導出し、方策空間上のノンパラメトリック共役事前分布とギブスサンプラーを提案した。探索と活用のバランスにより準最適な極限周期を回避できることを示した。

著者: Pedro A. Ortega, Daniel A. Braun

分類: cs.AI, cs.LG, cs.RO

原文アブストラクト

Adaptive control problems are notoriously difficult to solve even in the presence of plant-specific controllers. One way to by-pass the intractable computation of the optimal policy is to restate the adaptive control as the minimization of the relative entropy of a controller that ignores the true plant dynamics from an informed controller. The solution is given by the Bayesian control rule-a set of equations characterizing a stochastic adaptive controller for the class of possible plant dynamics. Here, the Bayesian control rule is applied to derive BCR-MDP, a controller to solve undiscounted Markov decision processes with finite state and action spaces and unknown dynamics. In particular, we derive a non-parametric conjugate prior distribution over the policy space that encapsulates the agent's whole relevant history and we present a Gibbs sampler to draw random policies from this distribution. Preliminary results show that BCR-MDP successfully avoids sub-optimal limit cycles due to its built-in mechanism to balance exploration versus exploitation.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3Google DeepMind、ロボット向けAIを発表新製品・発表
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI