MEMENTO、長期ホライズン操作タスク向け記憶誘導型コード進化を提案

何が起きたか

arxiv.orgに2026年7月24日付で掲載された論文「MEMENTO: Memory-Guided Memetic Code-as-Policy Evolution」は、長期ホライズンの具現化タスク向けに、記憶誘導型の単一エリートmemeticフレームワークを提案した。MEMENTOは、ロールアウト評価器を進化させ、フィードバック指標を用いてポリシー提案を条件付けすることで、Robosuite Franka Tower-of-Hanoi操作とAI2-THOR家庭内相互作用の2領域で、ベースラインのEurekaとREvolveを上回るタスク成功率と一般化を達成した。

詳細

MEMENTOは、実行可能な制御プログラムとしてポリシーを表現するcode-as-policyアプローチを採用し、進化的探索に記憶誘導型の山登り法、マクロ突然変異、交叉を組み合わせる。ロールアウト評価器は、スカラー適合度と構造化フィードバック指標を生成し、適合度は候補の選択と次エリートの決定に、フィードバック指標はポリシー提案の条件付けに用いられる。評価では、RobosuiteのFrankaロボットによるTower-of-Hanoi操作とAI2-THORの家庭内タスクで、EurekaとREvolveをcode-as-policy進化ベースラインとして適応させたものと比較し、タスク成功率と一般化で優位を示した。アブレーション研究では、ゼロショット生成と未進化の評価器ではどちらの領域も解けず、ポリシー探索ブランチの除去が性能低下を招くことが確認された。さらに、進化したRobosuiteポリシーを物理的なFrankaロボットに展開し、sim-to-real転送の実現可能性を示した。

Key Facts

本紙の見方

今回の提案は、LLM駆動の進化的手法に「記憶誘導」と「局所改善」を導入した点で新規性がある。従来のcode-as-policy進化は、独立に生成された変異体の選択に重点を置き、逐次的な局所改善フェーズを欠いていた。MEMENTOは、単一エリートのmemeticフレームワークにより、評価器の進化とフィードバック指標の活用を通じて、ポリシー探索をより効率的に行う。これは、長期ホライズンタスクにおけるポリシー改善の新たな方向性を示すものであり、既存のEurekaやREvolveの延長線上にあるが、局所改善の導入が性能向上に寄与しているとみられる。 本紙の過去報道との接続は、関連記事が提供されていないため直接的な言及は避けるが、ロボット学習における進化的手法とLLMの組み合わせは、近年の研究トレンドの一つであり、MEMENTOはその中で「記憶」を活用した点が特徴的である。 業界構造への含意としては、ロボットポリシーの自動生成・改善における進化的手法の有効性が再確認された。特に、シミュレーションから実機への転送が実証されたことで、実世界での応用可能性が高まる。これは、ロボットのタスク学習におけるデータ効率や汎化性能の向上に寄与する可能性があり、サプライチェーンや製造現場での自動化推進に影響を与えるとみられる。 未確定の論点としては、MEMENTOの性能が特定のタスク領域に限定される可能性がある。RobosuiteとAI2-THOR以外の領域での有効性や、より複雑な長期ホライズンタスクでのスケーラビリティは未検証である。また、物理ロボットへの展開は単一のポリシーに限られており、多様な環境でのsim-to-real転送の頑健性は今後の課題となる。さらに、進化的探索の計算コストや、評価器の進化が性能に与える影響の詳細な分析も必要である。

なぜ重要か

MEMENTOは、LLMと進化的アルゴリズムを組み合わせたロボットポリシー学習の新たな手法を示し、長期ホライズンタスクでの性能向上と実機転送の可能性を実証した。これは、ロボットの自動プログラミングや適応学習の実用化に向けた一歩であり、産業用ロボットや家庭用ロボットの開発に影響を与える可能性がある。