FlowMPC、フローマッチング模倣学習に世界モデルを統合 ManiSkillで成功率向上

何が起きたか

arxiv.orgに2026年6月15日付で公開された論文「FlowMPC: Improving Flow Matching policies with World Models」において、著者はフローマッチング（FM）ポリシーと学習済み世界モデルを組み合わせたFlowMPCを提案した。ManiSkill操作タスク（PickCube、PickSingleYCB）で評価し、FMポリシー単体と比較して、特にエピソード終了時の成功率で明確な改善が見られた。

詳細

FlowMPCは、模倣学習されたFMポリシーと学習済み世界モデルを組み合わせ、テスト時にModel Predictive Path Integral（MPPI）計画を用いて候補行動系列を評価する。基盤としてTD-MPC2を利用している。FMは多峰的な行動空間での行動クローニングに有効だが、期待リターンを直接最大化するよう訓練されていないため、テスト時の行動に改善の余地がある。FlowMPCはFMの訓練目的を変更せずに、世界モデルによる計画を追加することで性能を向上させる。

Key Facts

本紙の見方

今回のFlowMPCの提案は、模倣学習とモデルベース強化学習の橋渡しを試みる点で新規性がある。フローマッチングは多峰的な行動分布を表現できるため行動クローニングに適しているが、期待リターンを直接最適化しないという弱点があった。FlowMPCは、学習済み世界モデルを用いてテスト時にMPPI計画を行うことで、この弱点を補完する。これは、FMポリシーの訓練目的を変更せずに、テスト時の計算資源を活用して性能を向上させるアプローチであり、既存のFMポリシーへのアドオンとして実装可能な点が実用的である。 本紙の過去報道との接続はないが、ロボット学習分野では、模倣学習とモデルベース計画の組み合わせは近年注目されている。TD-MPC2はモデルベース強化学習の代表的な手法であり、これを世界モデルとして利用する点は、既存の強化学習手法の資産を活用する戦略とみられる。 業界構造への含意としては、ロボット操作タスクにおける学習手法の選択肢が広がることが挙げられる。模倣学習はデータ収集のコストが低いが、汎化性能に課題がある。FlowMPCのように世界モデルを追加することで、テスト時の計画によって成功率を向上できる可能性があり、実ロボットへの適用を考える際に、学習データの量を増やす代わりに計算資源を投入する選択肢が増える。 未確定の論点としては、FlowMPCの性能がタスクの複雑さやデータ量にどう依存するかが挙げられる。今回の実験はPickCubeとPickSingleYCBの2タスクに限られており、より複雑なタスクや多様な物体での評価が必要である。また、世界モデルの学習に必要なデータ量や、MPPI計画の計算コストが実用上許容できるかも検討課題である。

なぜ重要か

FlowMPCは、フローマッチングによる模倣学習の実用性を高める可能性がある。テスト時に世界モデルで計画することで、追加の学習データなしに成功率を向上できるため、ロボット操作の学習コストを抑えつつ性能を引き出せる。今後の展開として、より複雑なタスクでの検証や、実ロボットへの応用が焦点になる。