MolmoMotion、言語指示による3D点軌道予測モデルを発表

何が起きたか

2026年6月17日、arxiv.orgにて、言語指示に基づく3D点軌道予測モデル「MolmoMotion」を提案する論文が公開された。同モデルは、短い視覚履歴と物体上の3Dクエリ点、および言語による目標記述から、各点の将来の3D軌道を予測する。

詳細

MolmoMotionは、3D点軌道予測のためのフルスタックを提供する。データセット「MolmoMotion-1M」は、116万本の非制約動画から注釈された、動作記述付きの物体接地3D点軌道の大規模コーパスである。ベンチマーク「PointMotionBench」は、111の物体カテゴリと61の動作タイプをカバーする人間検証済みのベンチマークである。モデルは、自己回帰的な座標予測とフローマッチングに基づく軌道生成の両方をサポートする。

Key Facts

本紙の見方

今回の発表は、視覚知能における動作予測（motion forecasting）の新たなタスク設定を提案する点で新規性が高い。従来の動作予測は、2Dのバウンディングボックスやセグメンテーション、あるいは特定の物体カテゴリに依存したものが多かった。これに対し、MolmoMotionはワールド座標系での3D点を表現として用いることで、クラス非依存で視点安定、かつコンパクトな表現を実現している。これは、ロボット操作や動画生成といった下流タスクへの直接的な利用を意図した設計であり、単なるベンチマーク上の性能向上にとどまらない。 本紙の過去報道との接続は、関連記事が提供されていないため直接的な言及は避けるが、動作予測とロボット操作の連携は、近年のフィジカルAI研究の主要な流れの一つである。MolmoMotionが示した「3D動作事前知識の転移」は、シミュレーションや実機での学習効率を高める可能性があり、ロボットの汎用性向上に寄与するとみられる。 業界構造への含意としては、データセットとベンチマークの整備が挙げられる。MolmoMotion-1Mは116万本の動画から構築されており、動作予測研究における大規模データの重要性を再確認させる。また、PointMotionBenchは111カテゴリ・61動作タイプをカバーしており、評価の標準化に寄与する可能性がある。これにより、動作予測モデルの比較が容易になり、研究開発の加速が期待される。 未確定の論点としては、モデルの実ロボットへの適用時の性能や、データセットのバイアス、計算コストなどが挙げられる。論文ではロボット操作への転移が示されているが、実環境での検証は今後の課題である。また、3D点軌道の表現がどの程度汎用的か、特に複雑な変形や相互作用を伴うシーンでの性能は未知数である。

なぜ重要か

MolmoMotionは、言語指示による3D点軌道予測という新たなタスクを定義し、大規模データセットとベンチマークを提供することで、動作予測研究の基盤を強化する。これは、ロボット操作や動画生成など、フィジカルAIの応用分野におけるモデルの汎用性向上に寄与する可能性がある。