多様な計画ポリシーの発見：品質多様性最適化によるマルチモーダル具現化エージェント

本論文は、マルチモーダル具現化エージェントのための多様なプランニングポリシーを発見するQuality-Diversity (QD)フレームワークを提案している。長期的タスクにおいて、視覚観察、テキスト目標、相互作用履歴を統合して閉ループ意思決定を行うエージェントが、単一のプランニングスタイルに依存せず、行き詰まり時に別のポリシーへ切り替えられるようにする。オフライン段階でポリシーテンプレートを進化させ、行動空間に基づくアーカイブに保持し、オンライン段階で行き詰まり検出時にロールバックとポリシー切り替えを行う。

従来の大規模モデルベースのプランナーは、実行中に単一の支配的なプランニングスタイルに依存し、そのモードが非効率になると長時間停滞する問題があった。本手法は、単一のプロンプトスタイルへの探索を崩壊させず、行動インデックス付きアーカイブに複数のポリシーを保持する点で優れている。また、成功・失敗経験を構造化してポリシー変異に活用することで、多様なポリシーを効率的に発見できる。

手法の核は、QDフレームワークを用いてプランニングポリシーテンプレートを進化可能な個体として扱い、行動空間（相互作用強度と目標指向性）で定義されるニッチごとに最高品質のポリシーをアーカイブに保持すること。オフラインでは、ロールアウト軌跡から成功・失敗経験を要約し、組換えと経験誘導型突然変異によりポリシー変異を導く。オンラインでは、タスク進捗を監視し、持続的な停滞を検出すると最新のチェックポイントにロールバックし、行動的に異なるアーカイブポリシーに切り替えて実行を再開する。

ThreeDWorld輸送ベンチマークで実験を行い、提案フレームワークが代表的なベースラインプランナーと比較して、タスク成功率と相互作用効率を向上させることを示した。具体的な数値や比較対象の詳細は要旨からは不明。

要旨からは、提案手法が多様なポリシーレパートリーを発見することで適応的なマルチモーダルプランニングとオンライン障害回復を支援する有効性が示唆されているが、限界や今後の課題については言及されていない。また、実験は特定のベンチマークに限定されており、他の環境やタスクでの汎用性は不明。

要旨で参照されている関連研究として、Quality-Diversity最適化、マルチモーダル具現化エージェントのプランニング、大規模モデルベースのプランナー、ThreeDWorldベンチマークに関する論文が挙げられる。具体的には、QDアルゴリズム（MAP-Elitesなど）、具現化AIのための視覚言語モデル、閉ループプランニング手法などが関連する。