プロンプト駆動探索（PDE）を提案、ゼロ報酬からの強化学習を可能に

何が起きたか

研究者らは、強化学習の探索手法として、プロンプトを書き換えることで方策の大域的な変化を誘発する「Prompt-Driven Exploration（PDE）」を提案した。PDEは、報酬が得られない初期状態からでも方策学習を成功させ、サンプル効率を向上させるとしている。論文はarXivに2026年7月9日に公開された。

詳細

PDEは、ロールアウト動画をVLMが分析し、方策の応答を診断してプロンプトを書き換えることで、次回の行動を改善する。この手続きは、プロンプトレベルでの事後サンプリングに類似し、VLMが有用なプロンプトの暗黙的な分布を維持し、観測されたロールアウトから更新する。操作タスクと推論タスクの両方で、ゼロ報酬からの学習を可能にし、サンプル効率を向上させた。

Key Facts

本紙の見方

今回の提案は、強化学習における探索の古典的な課題に対する新しいアプローチである。従来の探索は行動空間に確率性を注入するが、その摂動は元のロールアウトに近いものに限られる。PDEは、LLMやVLAモデルが自然言語プロンプトに基づいて方策を条件付ける性質を利用し、プロンプトを書き換えることで大域的な変化を生み出す。この点が新規であり、弱い方策からでも報酬が得られない状況での学習を可能にする。 本紙の過去報道との接続はないが、この手法はロボット操作や推論タスクでの応用が期待される。特に、報酬が疎な環境での学習効率の改善は、実世界のロボット学習において重要である。PDEは、VLMがロールアウト動画を分析してプロンプトを更新するという点で、モデルベースの探索と似ているが、プロンプト空間での探索という点で独自性がある。 業界構造への含意としては、LLMやVLAモデルをRLに組み込む流れが加速する可能性がある。また、プロンプト設計が学習性能に与える影響が大きくなるため、プロンプトエンジニアリングの重要性が増すとみられる。 未確定の論点としては、PDEの有効性がどの程度のタスク範囲で発揮されるか、また、VLMの診断精度が学習性能にどの程度影響するかが挙げられる。さらに、実ロボットへの適用時の計算コストや、プロンプトの書き換えが収束に与える影響も検証が必要である。

なぜ重要か

PDEは、報酬が得られない初期状態からの学習を可能にするため、実世界のロボット学習や複雑な推論タスクにおける強化学習の適用範囲を広げる可能性がある。また、LLMやVLMをRLに統合する新たな枠組みとして、今後の研究の方向性を示すものと言える。