ニューロシンボリック世界モデルによるゼロショットタスク転送に向けて

本論文は、モデルベース強化学習（model-based reinforcement learning）における世界モデル（world model）の新たな定式化を提案する。提案するニューロシンボリック世界モデル（neurosymbolic world model）は、潜在状態（latent state）のうち構造化されたシンボリックな成分のみに報酬予測（reward prediction）が依存するように学習される。これにより、観測再構成（observation reconstruction）と報酬予測を分離し、同じシンボリック状態空間上で定義された新しい報酬関数に対して、環境との追加インタラクションなしにゼロショット適応（zero-shot adaptation）を可能にする。

従来の最先端のモデルベース強化学習手法は、ニューラル世界モデルを学習し、潜在空間でのプランニングにより方策改善を行うが、これらのモデルは一般にタスク依存であり、解釈不能な潜在表現が訓練タスクに結びついているため、新しいタスクへの一般化が困難である。提案手法は、報酬予測をシンボリックな成分に限定することで、タスク非依存の表現を学習し、ゼロショットで新しい報酬関数に適応できる点が優れている。

手法の肝は、世界モデルの学習において、観測再構成と報酬予測を分離し、報酬予測が潜在状態のうちシンボリックな部分集合のみに依存するように制約を課すことである。これにより、潜在状態は環境のダイナミクスを表現する部分と、報酬に関連するシンボリックな部分に分解され、新しい報酬関数が同じシンボリック状態空間上で定義されていれば、モデルを再学習することなく報酬予測を置き換えることでゼロショット適応が可能となる。

要旨からは、具体的な検証方法（実験設定や比較対象）は不明であるが、提案手法が純粋なニューラル手法（purely neural methods）と比較して強い一般化特性を示すことが述べられている。

要旨では、ニューロシンボリック世界モデルを学習する際の主な利点と課題について議論されている。利点はゼロショット適応によるタスク転移の容易さであり、課題としては、シンボリック状態空間の設計や、観測からシンボリック成分を抽出する際の難しさなどが考えられるが、詳細は要旨からは不明。

要旨で参照または比較されている研究は明示されていないが、関連する分野として、モデルベース強化学習（model-based reinforcement learning）、ニューラル世界モデル（neural world models）、ゼロショット学習（zero-shot learning）、ニューロシンボリックAI（neurosymbolic AI）に関する論文が挙げられる。具体的には、世界モデルの代表的な研究である"World Models"や"Dreamer"などが関連するが、要旨に明記がないため一般名で示す。