ビデオ生成2026/9/1arXiv:2609.01252v1

MeRoPE: カメラ制御ビデオ生成のためのメトリック回転位置埋め込み

MeRoPE: Metric Rotary Position Embedding for Camera-Controlled Video Generation

カメラ制御ビデオ生成において、実世界のメトリックカメラ軌道でスケール依存の失敗を起こさない、ノルム保存型の相対カメラエンコーディングMeRoPEを提案した。

詳しい要約

1. どんなもの？

MeRoPE (Metric Rotary Position Embedding) は、カメラ制御付きビデオ生成のための新しい位置エンコーディング手法。カメラの外部パラメータと各トークンの視線に基づいてトークンを条件付けする際に、実世界のメトリックなカメラ軌道で発生するスケール依存の失敗モードを解決する。具体的には、正規化を保つ相対カメラエンコーディングを注意機構に導入し、物理的な並進ベースラインが大きくなっても注意ロジットや特徴ノルムが発散しないようにする。

2. 先行研究と比べてどこがすごい？

既存のカメラ制御ビデオ生成における位置エンコーディングは、同次射影エンコーディングを用いるため、実世界のメトリックなカメラ軌道では物理的な並進ベースラインに応じて注意ロジットと特徴ノルムが非有界に成長するという問題があった。MeRoPEは、特徴ノルムを厳密に保存し、物理的な並進スケールに関わらずpre-softmax注意ロジットを有界に保つことで、このスケール依存の失敗モードを克服している。また、大規模ベースライン軌道と多様なカメラ光学系を含むデータセットで、先行手法よりも強いカメラ制御を達成している。

3. 技術・手法の肝は？

MeRoPEの技術的な肝は以下の3点。(1) 較正された視線間の相対的な向きを直交回転ブロックでエンコードする。(2) 生のメトリック変位を多周波数のロータリ位相にマッピングする。(3) エピポーラ弧に沿って視差に基づく対応事前分布を追加する。これにより、特徴ノルムを厳密に保存し、物理的な並進スケールに関わらずpre-softmax注意ロジットを有界に保ち、大域的な剛体座標変換に対して完全な不変性を維持する。

4. どうやって有効だと検証した？

nuScenesとPanShotの2つのデータセットで検証。nuScenesは大規模ベースライン軌道を、PanShotは多様なカメラ光学系をカバーする。これらのデータセットで、先行のエンコーディング手法と比較して、生成されたカメラモーションと条件付けポーズの間の一貫性が回転・並進の両方で最も優れていることを示した。

5. 議論はある？

要旨からは、MeRoPEの限界や潜在的な問題についての議論は明示されていない。ただし、提案手法が特定のデータセットで有効であることが示されているが、他のシナリオやカメラモデルでの汎用性については要旨からは不明。また、計算コストや実装の複雑さについても言及がない。

6. 次に読むべき論文は？

要旨で参照されている先行研究や関連手法は明示されていないが、同分野の定番として、カメラ制御ビデオ生成における位置エンコーディングの基礎となるRotary Position Embedding (RoPE) や、カメラ外部パラメータを利用したNeRFベースの手法、またビデオ生成モデル全般に関する研究が挙げられる。具体的には、RoPEの元論文や、カメラ制御を導入したビデオ生成モデルの論文を読むことが推奨される。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhijian Qiao, Xinjiang Wang, Jiajie Chen, Haoming Huang, Meng Li, Chih-Chung Chou, Jing Wang, Shaojie Shen

分類: cs.CV, cs.RO

原文アブストラクト

In camera-controlled video generation, geometry-aware positional encodings condition tokens on camera extrinsics and per-token viewing rays. Existing schemes, however, have a scale-dependent failure mode on real-world metric camera trajectories: homogeneous projective encodings cause attention logits and feature norms to grow unbounded with physical translation baselines. We propose MeRoPE (Metric Rotary Position Embedding), a norm-preserving relative camera encoding for attention. MeRoPE encodes relative orientations between calibrated viewing rays with orthogonal rotation blocks, maps raw metric displacements into multi-frequency rotary phases, and adds a disparity-anchored correspondence prior along the epipolar arc. This design strictly preserves feature norms, bounds pre-softmax attention logits regardless of the physical translation scale, and maintains exact invariance to global rigid coordinate changes. Across nuScenes and PanShot, which cover large-baseline trajectories and diverse camera optics, respectively, MeRoPE achieves stronger camera control than prior encodings, with the best consistency between generated camera motion and conditioning poses in both rotation and translation. Code will be made publicly available.

arXivで原文を読む →arXiv概要ページ