信念空間プランナの蒸留による物理的・認識論的制約を満たすエージェントの展開

- 信念依存ルールの下で不確実性下に行動する agent を訓練する手法。 - belief-space planner による offline 計画で軌跡データセットを生成し、raw observation から行動する policy へ distill する。 - 対象は物理的・認識論的制約(physically and epistemically compliant)を満たす agent の展開。 - 新規ドメイン Scavenger を提案し、視覚情報版と自然言語コマンド版で評価。

- 従来の deep RL は reward 設計しても完全最適化できず非準拠行動になりがち。 - belief-space planner は仕様準拠だが online planner と belief-state estimator の手作業実装が必要で大規模化が困難。 - 両者を統合し、planner の準拠性を保ちつつ raw observation で動く policy を得る点が新しい。 - Scavenger で成功率 90%超、RL は最大 5% と大きな差。

- offline で belief-space planner を実行し軌跡データセットを生成、policy へ distill。 - history-based policy 特有の問題に対処する 2 つの変更: Dual Averaging(per-timestep 予測損失と task 変化時の平均損失を組合せる損失)と ρ-Optimal Reinforcement(準最適に近い自身の成功 rollout を強化する feedback)。 - 静的な search 問題で noiseless observation model の場合の完全性の十分条件を提示。 - 連続 belief の静的 search では maximum-likelihood-observation planning がこの条件を含意することを示す。

- 新規ドメイン Scavenger を構築し、情報獲得が必要な課題で評価。 - 視覚情報版と自然言語コマンド版の 2 版で distilled policy を評価。 - 両版で成功率 90%超、RL は最大 5%。 - 未見かつ意図的に曖昧なコマンドへ 60%超、訓練時より大きい floorplan へ 75%超の転移成功。

- 完全性の十分条件は noiseless observation model の静的 search に限定され、動的・雑音あり設定への拡張は要旨からは不明。 - Dual Averaging と ρ-Optimal Reinforcement の個別寄与の分析は要旨からは不明。 - 実機展開やスケール時の planner 計算コストは要旨からは不明。

- belief-space planning / POMDP planning の関連研究。 - planner distillation および policy distillation の先行手法。 - deep RL による instruction following / language-conditioned policy。 - Scavenger のような情報獲得型 embodied タスクのベンチマーク研究。