MECo-WAM、4D幾何学的先行知識を注入する世界行動モデルを提案

何が起きたか

2026年7月6日にarxiv.orgに公開された論文で、MECo-WAM（Multi-Expert Co-Training World Action Model）が提案された。この手法は、ビデオとアクションの共訓練に4D幾何学的先行知識を注入し、推論時には補助コンポーネントを全て除去することで、推論コストを増やさずに操作性能を向上させる。実験ではLIBEROで98.2%、RoboTwin 2.0で92.6%の成功率を達成したと報告している。

詳細

MECo-WAMは、訓練時にビデオエキスパートとアクションエキスパートに加え、凍結されたVGGTエンコーダからのリレーショナルターゲットで監視される軽量な4Dエキスパートを組み合わせる。非対称なエキスパート可視性により、補助的な幾何学からアクション生成への非因果的なショートカットを防ぐ。幾何学的知識を展開時のビデオアクションパスに転送するために、減衰する4Dリードマスクアテンションを導入し、訓練初期に制限された現在フレームの幾何学的ガイダンスを提供し、徐々に依存を除去する。さらに、アクション認識型の時間的幾何学的蒸留を提案し、フレーム内の幾何学的関係とその時間的進化を整列させ、ロボットのアクションに最も関連する視覚領域を強調する。展開時には、すべての補助的な4Dコンポーネントが除去される。

Key Facts

本紙の見方

今回のMECo-WAMは、世界行動モデル（WAM）の性能向上において、幾何学的先行知識の注入という新たな方向性を示すものだ。従来のビデオ・アクション共訓練は外観中心のビデオ潜在表現を最適化していたが、操作に必要な時間的に変化する幾何学を十分に捉えられないという問題があった。MECo-WAMは、訓練時のみ4Dエキスパートを用いて幾何学的知識を注入し、推論時にはそのコンポーネントを完全に除去する点が特徴的である。これにより、推論コストを増やさずに性能を向上させることが可能となる。 本紙の過去報道との接続は、関連記事が提供されていないため直接的な言及は避けるが、ロボット操作における基盤モデルの進化という文脈では、推論効率と性能の両立が重要なトレンドである。MECo-WAMは、そのトレンドに沿った手法であり、特に実世界の操作タスクでの適用を視野に入れている。 業界構造への含意としては、ロボット操作の基盤モデルにおいて、幾何学的理解が性能向上の鍵となる可能性を示唆している。特に、凍結されたVGGTエンコーダを利用することで、追加の大規模な訓練を必要とせずに幾何学的知識を獲得できる点は、計算資源の制約がある現場での実用性を高める。また、推論時に補助コンポーネントを除去する設計は、エッジデバイスや実機への展開を容易にする。 未確定の論点としては、提案手法が実世界のタスクでどの程度の汎化性能を持つか、また、4Dエキスパートの訓練に必要なデータ量や計算コストがどの程度かが挙げられる。さらに、VGGTエンコーダの凍結が性能に与える影響や、他のエンコーダとの比較も今後の検証が必要である。

なぜ重要か

MECo-WAMは、ロボット操作の基盤モデルにおいて、推論コストを増やさずに幾何学的知識を活用する方法を示した点で重要である。これにより、実世界のロボットへの展開がより現実的になり、操作精度の向上が期待される。また、訓練時のみ補助的なコンポーネントを用いるアプローチは、他のモダリティやタスクへの応用可能性も示唆している。