arXiv論文「World Motion Models」、SE(3)軌道で動的3D世界を表現する手法を提案

何が起きたか

arXivに2026-10-01付で掲載された論文「World Motion Models: Flexible Sequence Modeling of SE(3) Trajectories」は、動的な3D世界をSE(3)姿勢軌道の集合としてモデル化する手法を提案した。論文は、複数の実体の将来位置や動きを、単一の共有空間で扱う枠組みとしてWMMsを位置づけている。

詳細

論文によると、WMMsは動的シーンの要素を「what was, is, and will be where across time」と捉え、疎なSE(3) pose trajectoriesで表現する。著者らは、これを流れ整合法(flow-matching)とトークンごとのノイズ水準を用いた柔軟な系列モデリング問題として定式化し、非系列条件付けのためのcontext token mechanismも組み込んだとしている。 また、任意数のエンティティと時刻に対してany-to-anyのmarginal conditioningを支え、future prediction、motion infilling、model-predictive control、inverse kinematics、cross-embodiment retargeting、policy learningを同一ネットワーク上で異なるマスクとして扱えるとしている。実験は3D visionとroboticsの6つの応用で行われ、強い性能を示したと論文は述べている。

Key Facts

本紙の見方

この論文の新しさは、3D世界の記述対象を個別の物体認識や単一タスクの軌道予測に分けず、SE(3)姿勢軌道を共通表現に据えた点にある。articulated objects、human bodies、hand-object interactions、piecewise-rigid scene dynamics、camera motion、robot states and actionsを同じ空間へ押し込める設計は、見かけ上は汎用モデルだが、実体としては「空間中で何がどこにあるか」を扱うための表現統一である。flow-matchingとper-token noise levelsを組み合わせ、さらにcontext token mechanismで非系列条件付けを可能にしたという説明からは、1つの生成基盤で複数の条件付け様式を捌くことが主眼と読める。 本紙の関連記事は無いが、論文の構造だけを見ると、WMMsは知覚・予測・制御・模倣学習を別々の系として積むのではなく、同一の系列モデルにマスクを与え替えて分岐させる設計である。ここで重要なのは、未来予測やmotion infillingだけでなく、inverse kinematicsやcross-embodiment retargetingまで同じ枠組みに入れている点だ。つまり、入力が3D視覚であっても、出力がロボット行動であっても、媒介するのは軌道の記述であるという立て付けである。これは、ロボット向け基盤モデルでしばしば残る「知覚モデル」と「制御モデル」の境界を、表現層でまたぎ直す試みとみられる。 業界構造への含意としては、学習データの粒度が焦点になる。SE(3)軌道を共通表現にするなら、単なる画像・点群だけでなく、物体・人体・手・カメラ・ロボットの時系列姿勢をどこまで一貫した形式で集められるかが性能を左右すると考えられる。また、any-to-any conditioningを掲げる以上、実運用ではどのマスク設計がどの課題に効くのか、6つの応用間で性能のばらつきがあるのかが確認点になる。さらに、cross-embodiment retargetingをうたう場合でも、異なるロボット機体間での座標系や関節制約をどの程度吸収できるかは、この論文だけでは読み切れない。

なぜ重要か

論文が示すのは、3D視覚とロボット制御を別系統で扱うのではなく、SE(3)軌道という共通表現に寄せる設計である。これが有効なら、未来予測、逆運動学、行動学習を個別実装する負担を下げられる可能性があるが、実用上はデータ形式とマスク設計への依存が大きいとみられる。

日本への影響

日本のロボット研究や3D視覚の現場では、機体ごとの座標系や関節制約をまたいで扱える表現が重要になるため、SE(3)軌道を共通基盤にする発想は関係が深い。もっとも、この論文だけでは日本の機体やデータセットにそのまま適用できるかは分からず、実際の検証が必要である。