MVG-WAM: ロボットマニピュレーションのための多視点幾何認識型ワールドアクションモデル

- ロボット操作のための **MVG-WAM**（Multi-View Geometry-Aware World-Action Model）を提案。 - World-Action Models (WAMs) は視覚動態と行動予測を結合し、事前学習済み video model の prior を活用する。 - 従来の多視点インターフェースは画像をタイル化または token 連結するため、同期カメラ間の幾何関係が暗黙的。 - 本手法は多視点観測を「一枚のキャンバス上の別画像」ではなく「同一物理世界の関連する投影」として組織化。 - epipolar 制約付き global state と view-indexed geometric states を統合し、action prediction の表現を明示的に構造化する。

- 従来の WAMs は多視点入力を単純に tile または token 連結し、カメラ間の幾何関係を暗黙的にしか扱わない。 - その結果、global scene context と interaction に必要な local geometry の接続が困難だった。 - MVG-WAM は epipolar 制約と view-indexed geometric states により、多視点を一つの物理世界の投影として明示的に構造化。 - camera-aware routing で各 video region に幾何 context と共有 global state を供給。 - これにより global と local の幾何情報を明示的に結びつけ、action prediction の表現を改善。

- 同期観測から epipolar-constrained global state と view-indexed geometric states を jointly 推論。 - camera-aware routing により、各 video region に対応する geometric context と共有 global state を供給。 - これにより action prediction に用いる表現を明示的に構造化。 - multi-horizon future-depth supervision により geometry-aware 表現を metric scale に接地。 - action rollout 時に depth decoding を必要としない点が特徴。

- LIBERO で平均成功率 99.1% を達成。 - RoboTwin 2.0 で平均成功率 92.07% を達成。 - 両ベンチマークで競争力のある性能を示す。 - 実世界実験は Cobot Magic 上で 3 つの manipulation task、150 trials にわたり 91.3% の成功率を達成。

- 要旨からは、限界や失敗事例、計算コスト、スケーラビリティに関する議論は明記されていない。 - 多視点幾何の明示的構造化と metric scale の接地が性能に寄与する可能性が示唆されるが、詳細な ablation や議論は要旨からは不明。

- World-Action Models (WAMs) の代表的研究（要旨で具体的名称は挙げられていない）。 - LIBERO および RoboTwin 2.0 ベンチマークに関する研究。 - 多視点ロボット操作における epipolar geometry や camera-aware routing を用いた手法。 - 事前学習済み video model をロボット操作に応用する研究。