動画推論の精度向上を図る「Motion-as-Prompt」、GPT-5.5で最大8.9%改善

何が起きたか

2026年8月12日、arxiv.orgに投稿された論文で、動き中心の動画推論を強化するフレームワーク「Motion-as-Prompt（MaP）」が発表された。MaPは、動画のフレーム間で失われがちな物体の動きや相互作用を可視化するため、密な点軌跡を復元し、動きの情報を含むフレームを選択して軌跡を直接視覚入力に描画する。実験では、CLEVRERとSomething-Something-v2データセットで、GPT-5.5の平均動き推論精度をそれぞれ4.2%と8.9%向上させた。

詳細

MaPは、動画のサンプリング間で失われる動き情報を補完するため、密な点軌跡を復元し、動きの情報を含むフレームを選択して、連続するサンプルフレーム間に蓄積された軌跡を視覚入力に直接マークする。これにより、凍結されたMLLMでも、物体の変位、方向変化、相互作用を観測可能にする。実験では、CLEVRERとSomething-Something-v2データセットで、GPT-5.5の平均動き推論精度をそれぞれ4.2%と8.9%向上させた。さらに、非動き理解の精度を低下させることなく改善を達成しており、MaPの堅牢性が示された。

Key Facts

本紙の見方

今回の提案は、MLLMの動画推論における根本的な課題、すなわちスパースなサンプリングによる動き情報の喪失に、視覚入力への軌跡描画というシンプルな手法で対処する点が新しい。従来の手法は、モデルのアーキテクチャ変更や追加学習を必要とするものが多いが、MaPは凍結されたMLLMに対してプロンプトとして動き情報を付与するため、既存モデルへの適用が容易である。この点は、実用上のハードルを下げる意味で重要だ。 本紙の過去報道との接続は、関連記事が提供されていないため直接的な言及は避けるが、MLLMの動画理解に関する研究動向を踏まえると、今回の成果は、モデル自体の改良ではなく、入力の工夫によって性能を引き出すという流れの延長線上にあるとみられる。特に、視覚プロンプティングの手法は、近年のMLLM研究で注目されており、MaPはその動き推論への応用として位置づけられる。 業界構造への含意としては、ロボット操作や自動運転など、動きの理解が不可欠な分野への応用が期待される。MaPはモデル非依存であるため、様々なMLLMに組み込むことができ、動画理解の精度向上に寄与する可能性がある。また、学習を必要としないため、計算コストやデータ準備の負担を軽減できる点も、実用化への障壁を下げる。 未確定の論点としては、MaPの効果が他のデータセットや実世界の動画でも同様に発揮されるかどうかが挙げられる。また、軌跡の描画が視覚入力に与える影響や、より複雑な動きを含むシーンでの性能も検証が必要だ。さらに、GPT-5.5以外のモデルでの効果も確認する必要がある。

なぜ重要か

この研究は、MLLMの動画推論における精度向上を、モデル変更なしで達成できる可能性を示しており、ロボット工学や自動運転など、動きの理解が重要な分野での応用が期待される。また、学習不要のアプローチは、計算資源やデータが限られた環境でも導入しやすく、MLLMの実用化を後押しする。