日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
強化学習arXiv:2610.38901

幾何的時間スコア推定器:自己予測表現と生成的占有モデルを橋渡しする強化学習手法

Geometric Time Score Estimators: Bridging Self-Predictive Representations and Generative Occupancy Models For Reinforcement Learning

シェア:XThreadsFacebookLINEはてブBluesky

確率経路上で占有密度推定器を学習することで自己予測表現と生成的占有モデルを統合し、目標条件付き強化学習の性能を2〜6倍向上させた研究。

詳しい要約

1. どんなもの?

- GTSE(Geometric Time Score Estimators)は、強化学習(RL)における occupancy measure の密度推定のためのフレームワーク。 - self-predictive representations と generative occupancy models という2つのパラダイムを、確率経路上での occupancy density estimator の学習によって橋渡しする。 - goal-conditioned RL 設定での制御性能向上と、下流タスクへの表現転移を狙う。

2. 先行研究と比べてどこがすごい?

- self-predictive representations は occupancy density 推定の支配的パラダイムだが、推定精度が驚くほど悪いことを指摘。 - generative occupancy models は occupancy measure からのサンプル生成は非常に正確だが、occupancy density を容易に復元できず制御への利用が限られる。 - GTSE は両者の利点を統合し、密度推定とサンプリングの両面を扱える点が新規。

3. 技術・手法の肝は?

- 確率経路(probability paths)に沿って occupancy density estimator を学習する枠組みを提案。 - GTSE が表現学習の改善を通じてより良い occupancy estimator を暗黙的に誘導する仕組みを分析。 - この枠組みから self-predictive representations を直接抽出する方法を示す。

4. どうやって有効だと検証した?

- 複数の locomotion タスクと manipulation タスクで実験。 - goal-conditioned RL 設定において、state-of-the-art 手法比で 2倍から6倍の性能向上を報告。 - GTSE で学習した表現が下流の RL タスクへ効果的に転移することを示す。

5. 議論はある?

- self-predictive representations の密度推定精度の低さと、generative occupancy models の密度復元の困難さという対比が議論の出発点。 - GTSE が表現学習改善を通じて occupancy estimator をどう改善するかの分析を提示。 - 具体的な限界や失敗ケース、計算コストなどは要旨からは不明。

6. 次に読むべき論文は?

- self-predictive representations に関する先行研究(例:SPR 系の手法)。 - generative occupancy models に関する研究(例:occupancy measure を生成的に扱う手法)。 - goal-conditioned RL の state-of-the-art 比較手法(要旨では具体名が明示されていないため、同分野の定番手法を参照)。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Aravind Venugopal, Grace Liu, Jeff Schneider, Benjamin Eysenbach

分類: cs.LG

原文アブストラクト

In reinforcement learning (RL), temporal reasoning is essential for estimating the density of future outcomes under a policy's occupancy measure. While self-predictive representations have been a dominant paradigm for occupancy density estimation, we find that they yield surprisingly poor estimates. On the other hand, generative occupancy models can produce remarkably accurate samples from the occupancy measure. Yet, they cannot easily recover occupancy densities, limiting their use for control despite their expressivity. In this paper, we propose Geometric Time Score Estimators (GTSE), a framework that bridges the two paradigms by learning occupancy density estimators along probability paths. We analyze how GTSE implicitly induces better occupancy estimators through improved representation learning and show how to directly extract self-predictive representations from this framework. Through experiments across several locomotion and manipulation tasks, we show that GTSE improves performance over state-of-the-art methods by $2\times$ to $6\times$ in goal-conditioned RL settings, and that the representations learned using our framework transfer effectively to downstream RL tasks. Website: https://aravindvenu7.github.io/website/gtse/

関連論文

PR本紙発行元 EmplifAI