動きをプロンプトとして：動き誘導型クロスフレーム視覚プロンプティングによるマルチモーダル大規模言語モデルの動き推論の強化

Motion-as-Prompt (MaP) は、マルチモーダル大規模言語モデル (MLLMs) の動画理解、特に動き中心の推論を強化するためのフレームワークである。従来のMLLMsは、計算コスト削減のために疎な均一サンプリングでフレームを選ぶため、サンプリング間の重要な動きの遷移を見逃す問題がある。MaPは、密な点軌跡を復元し、動き情報の多いフレームを選択し、サンプリングされたフレーム間に蓄積された軌跡を視覚入力に直接マークすることで、凍結されたMLLMが物体の変位、方向変化、相互作用を観察できるようにする。モデルのトレーニングやアーキテクチャ変更を必要としないシンプルな手法である。

先行研究では、MLLMsの動画処理は主に疎なフレームサンプリングに依存しており、動きの連続性や因果関係の推論が不十分だった。MaPは、フレーム間の軌跡を視覚プロンプトとして明示的に付与することで、モデルに追加の学習や構造変更を強いることなく、動き情報を効果的に伝達する点が新しい。特に、凍結されたMLLMに対して視覚プロンプトを介して動きを明示することで、非動画理解性能を損なわずに動き推論精度を向上させた点が優れている。

MaPの手法の核は、トラッキングガイドによるクロスフレーム視覚プロンプティングである。具体的には、まず密な点軌跡を復元し、動き情報の多いフレームを選択する。次に、選択されたフレーム間で蓄積された軌跡を、元のビデオフレーム上に直接マーク（描画）する。これにより、フレーム間の変位や方向変化が視覚的に明示され、凍結されたMLLMが動きを認識しやすくなる。このプロセスはモデルのトレーニングやアーキテクチャ変更を必要とせず、推論時にのみ適用される。

CLEVRERとSomething-Something-v2の2つのデータセットで実験を行い、平均動き推論精度を評価した。GPT-5.5を用いた場合、それぞれ4.2%と8.9%の精度向上を達成した。さらに、非動き理解タスクの精度が低下しないことを確認し、MaPの堅牢性を示した。

要旨からは、MaPの限界や潜在的な問題についての議論は不明である。ただし、動き軌跡のマーキングが視覚的にノイズとなる可能性や、軌跡の正確性に依存する点などが考えられるが、要旨には明記されていない。また、GPT-5.5以外のモデルでの有効性や、より複雑な動画での性能については言及がない。

要旨で参照されている研究は明示されていないが、関連する手法として、動画理解のためのMLLMs（例: Video-LLaVA, LLaMA-VID）や、トラッキング手法（例: CoTracker, Particle Video）が挙げられる。また、動き推論のベンチマークとしてCLEVRERやSomething-Something-v2が関連する。次に読むべき論文としては、これらの基盤技術や、動きプロンプトを用いた他の研究を探すとよい。