日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
模倣学習arXiv:2610.30105

非対称オンポリシー蒸留による文脈内探索の学習

Asymmetric On-Policy Distillation Learns In-Context Exploration

シェア:XThreadsFacebookLINEはてブBluesky

部分観測下で学生が自身の履歴に基づき収集したデータに特権専門家の行動をラベル付けして蒸留し、強化学習なしでテスト時の探索行動を学習する手法を提案。

詳しい要約

1. どんなもの？

- 部分観測下の逐次意思決定で test-time exploration を学習する student–teacher 型の supervised learning フレームワーク ASTEROID を提案 - 特権的な expert は探索不要だが、history-conditioned な student が on-policy context 上で探索を獲得 - 不確実な間は探索し、隠れ状態が判明したら活用する行動を学習 - 11 種類の環境（discrete exploration benchmarks、robotic manipulation、navigation、Procgen）で評価 - 実世界の vision-denied robot manipulation にも sim-to-real 転移

2. 先行研究と比べてどこがすごい？

- online RL による tabula rasa 学習は sample-inefficient で探索獲得に大量相互作用が必要 - offline imitation は隠れ状態間で expert 行動を平均化し探索を学習できない - ASTEROID は RL の非現実的な訓練データコストを避けつつ test-time exploration を獲得 - 固定探索予算で約 2x 高い return、RL baseline 比で約 100x 少ない相互作用 - frontier models を探索で上回り、標準的 distillation 比で実機成功率 +40%

3. 技術・手法の肝は？

- student–teacher supervised learning フレームワーク - student が部分観測下で on-policy context を収集 - 特権的 expert がその context に条件づけて action label を提供 - student の on-policy history に直接条件づけた expert action の distillation - これにより Bayesian posterior sampling に類似した test-time exploration を実現 - 非対称性: expert は特権情報を持ち探索不要、student は履歴のみから探索を学習

4. どうやって有効だと検証した？

- 11 種類の多様な環境で評価: discrete exploration benchmarks、robotic manipulation、navigation、Procgen - 固定探索予算で約 2x 高い return を達成 - RL baseline 比で約 100x 少ない相互作用 - frontier models との探索性能比較で優位 - simulation で訓練した policy を vision-denied 実世界 robot manipulation に転移し、標準 distillation 比 +40% の成功率向上

5. 議論はある？

- 要旨からは不明（限界や失敗ケースの議論は記述なし） - 特権 expert 依存の枠組みであり、expert の質や特権情報の設計への依存は要旨からは不明 - on-policy context 収集のコストや安定性に関する議論は要旨からは不明 - 実世界評価は vision-denied robot manipulation に限定され、他の実世界タスクへの一般性は要旨からは不明

6. 次に読むべき論文は？

- 要旨で比較対象として挙げられる online reinforcement learning ベースの探索手法 - offline imitation / behavior cloning 系の手法 - 標準的 distillation（standard distillation） - frontier models（探索性能比較の対象） - Bayesian posterior sampling に関連する探索手法 - Procgen や robotic manipulation における探索研究（同分野の定番として）

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Sriyash Poddar, Yanda Bao, Jacob Krantz, Matthew Chang, Xavier Puig, Roozbeh Mottaghi, Natasha Jaques, Abhishek Gupta

分類: cs.RO, cs.AI, cs.LG

原文アブストラクト

Sequential decision-making under partial observability is difficult because agents must explore to infer hidden, task-relevant information before acting effectively. Learning such information-gathering behaviors tabula rasa via online reinforcement learning is sample-inefficient, whereas offline imitation averages expert actions across hidden states and fails to learn exploration. In this work, we propose ASTEROID, a simple and effective student--teacher supervised learning framework that can learn test-time exploration. Although a privileged expert never needs to explore, we demonstrate that a history-conditioned student can learn to do so when trained with on-policy contexts: the student first collects on-policy context under partial observability, and the privileged expert provides action labels conditioned on that context. By distilling expert actions directly conditioned on the student's on-policy history, the student learns to systematically resolve partial observability, i.e., search while uncertain and exploit once the hidden state is revealed. This enables efficient test-time exploration (similar to Bayesian posterior sampling) without incurring the impractical training-data costs of reinforcement learning. Across a diverse range of eleven different environments, including discrete exploration benchmarks, robotic manipulation, navigation, and Procgen environments, ASTEROID achieves ~2x higher returns under fixed exploration budgets, uses ~100x fewer interactions than RL baselines, and outperforms frontier models at exploration. Finally, our method transfers policies trained in simulation to vision-denied real-world robot manipulation, exhibiting efficient exploration and increasing success by +40% over standard distillation. Overall, it provides a simple yet surprisingly effective framework to learn efficient test-time exploration.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI