LeWAM、JEPAsで世界モデルと行動を端から端まで学習する制御手法を発表

何が起きたか

arxiv.orgに2026年10月8日付で掲載された論文は、LeWAM: End-to-End World and Action Modeling with JEPAsを発表した。LeWAMは、次の潜在状態予測と行動フローマッチングを同時に学習し、潜在状態に等方ガウス制約を課すことで、単一モデルで直接の方策実行と効率的な計画を可能にするとしている。論文は、接触を伴う課題で成功率を28.6%から89.7%へ、長期課題で10.9%から46.2%へ改善し、計画速度は32.3倍速いとしている。

詳細

論文は、従来のJEPA系パイプラインが視覚表現の学習、行動条件付きダイナミクスの学習、その後の制御方策やソルバーの追加という段階構成を取ると整理したうえで、LeWAMはこれを一体化したと述べている。評価は、可視計画における先行JEPAと比較して行われ、接触を伴うタスクでは28.6%から89.7%へ、長期タスクでは10.9%から46.2%へ成功率が上がり、計画は32.3倍速くなったとしている。さらに、シミュレーションと実機ロボットでのbehavior cloningタスクでも、LeWAMは既存手法と競争力があるとしている。

Key Facts

本紙の見方

LeWAMの新しさは、JEPAを単なる表現学習の中核ではなく、制御そのものに直結する単一モデルへ押し広げた点にある。論文が示す構成は、潜在状態予測と行動分布の学習を同時に行い、さらに潜在空間に等方ガウス制約を置くことで、計画と方策実行を同じ枠内で回す設計である。ここは、視覚表現→ダイナミクス→方策という段階的な既存パイプラインとの差が明確だ。\n\n数値面では、接触を伴うタスクで28.6%から89.7%へ、長期タスクで10.9%から46.2%へと成功率が上がり、計画は32.3倍速いという。これらは、JEPA系が抱えがちな「計画はできるが遅い」「表現は学べるが制御へ結びつきにくい」という弱点を、潜在空間の設計でどこまで崩せるかを示す材料である。ただし、論文が示すのは主に可視計画とシミュレーション、実機でのbehavior cloningでの有効性であり、どの条件で同じ改善が維持されるかはまだ限定的に読むべきだ。\n\n本紙としては、ここで注目すべきなのは性能差そのものより、計画時にサンプルした行動を潜在ダイナミクスで評価する構造である。ロボット制御では、世界モデルの精度、行動空間の探索効率、実機での安全な実行の三点が常に絡む。LeWAMはこのうち前二つを同じ学習枠組みで処理しようとしているため、今後の焦点は、接触豊富な操作以外のタスクでも速度と成功率が両立するか、実機でのデータ要件がどこまで抑えられるか、そして潜在空間の制約が複雑な運動計画の表現力をどこまで損なわないかに移るとみられる。

なぜ重要か

論文が示した28.6%→89.7%、10.9%→46.2%、32.3倍高速という結果は、計画と制御を別工程で積み上げる従来型より、単一の潜在表現で回す方式が有効な場面があることを示す。シミュレーションと実機ロボットのbehavior cloningでも競争力があるとしているため、ロボット制御の学習設計を見直す材料になる。

日本への影響

日本のロボット研究や製造現場で論点になるのは、接触を伴う操作や長期タスクで、世界モデルと行動選択を同じ潜在空間で扱う設計がどこまで有効かである。特に、実機ロボットでのbehavior cloningに触れている点は、少量の実機データで学習する運用を重視する日本の現場にとって、評価対象になりうる。