エゴセントリックビジョン/手とカメラの軌跡推定2026/9/4arXiv:2609.04958

MINT: スケーラブルなエゴセントリックパイプライン監視によるワールド空間カメラ・手の動き推定の統合モデル

MINT: A Unified Model for World-Space Camera and Hand Motion Estimation from Scalable Egocentric Pipeline Supervision

エゴセントリックRGB映像からカメラと両手のワールド空間軌跡を直接推定する初の基盤モデルMINTを提案し、大規模な疑似ラベル生成パイプラインで事前学習して高精度化した。

詳しい要約

1. どんなもの？

MINTは、単眼のegocentric RGBビデオから、ワールド座標系でのカメラ軌跡と両手の軌跡を直接推定する初の基盤モデルである。共有の時空間ビデオ表現から、カメラ軌跡、カメラフレーム内の手の状態、フレームごとの手の存在を同時に予測し、明示的な座標変換によりワールド空間の手の動きを生成する。大規模な擬似ラベルによる事前学習と、高品質な共同アノテーションによる微調整を組み合わせる。

2. 先行研究と比べてどこがすごい？

従来のシステムは、カメラモーション、深度、手の再構成、軌跡の洗練を別々の段階に分解しており、計算コストが高く、カメラと手の動きの統合的なモデリングができなかった。MINTは、単一の共有表現からカメラと手の軌跡を直接生成する統合モデルであり、エンドツーエンドの軌跡生成が従来のラベリングパイプラインより高速である。また、大規模な擬似ラベルを生成するオープンソースのEGOPIPELINEを導入し、データスケーリングを可能にした点も新しい。

3. 技術・手法の肝は？

手法の核は、(1) 単一の共有時空間ビデオ表現から、カメラ軌跡、カメラフレーム内の手の状態、フレームごとの手の存在を同時に予測する統合アーキテクチャ。(2) カメラ軌跡と手の状態を明示的な座標変換で組み合わせ、ワールド空間の手の軌跡を生成する点。(3) 大規模な公開egocentricビデオを構造化されたカメラ・手の軌跡監視に変換するオープンソースのラベリングパイプラインEGOPIPELINEの開発。(4) 大規模な擬似ラベルでの事前学習と、小規模な高品質な共同アノテーションでの微調整という2段階の学習戦略。

4. どうやって有効だと検証した？

公開ベンチマークにおいて、ワールド空間の手の軌跡精度、カメラ軌跡推定、エンドツーエンドの軌跡生成速度を評価した。具体的な数値は要旨では[xxx]と省略されているが、ラベリングパイプラインと比較して改善が見られ、未見のegocentricデータセットへのゼロショット汎化も確認された。

5. 議論はある？

要旨からは、擬似ラベルの品質が最終性能に与える影響や、実世界の多様なシーンでのロバスト性、計算資源の要求などについての議論は不明。また、[xxx]とされている改善率の具体的な値が不明であり、定量的な評価の詳細は論文を参照する必要がある。

6. 次に読むべき論文は？

要旨で参照されている関連研究として、egocentricビデオからのカメラモーション推定、手の再構成、軌跡推定の既存システムが挙げられる。具体的には、カメラ軌跡推定のためのSLAM系手法、手の再構成のためのHand4WholeやFrankMocapなどが関連するが、要旨に明記されていないため、同分野の定番手法（例: SLAM, hand pose estimation）を次に読むことが推奨される。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zijie Zhu, Weiren Cai, Yizhou Wang, Zhenjie Yang, Yide Liu, Jiahao Chen, Guanqi He

分類: cs.CV, cs.RO

原文アブストラクト

Recovering camera and hand motion in world coordinates from egocentric video is a key capability for activity understanding, robot learning, and augmented reality. Existing systems typically decompose this problem into separate stages for camera motion, depth, hand reconstruction, and trajectory refinement, resulting in substantial computational overhead and preventing the joint modeling of camera and hand motion. We introduce MINT (Minting IN-the-Wild Trajectories), the first foundation model that directly produces complete world-space two-hand trajectories from ego-centric RGB video. From a single shared spatiotemporal video representation, MINT jointly predicts the camera trajectory, camera-frame hand states, and per-frame hand presence, and then produces world-space hand motion via explicit coordinate transformations. Training such a model at scale is challenging, since paired world-space camera and hand annotations are scarce. We therefore develop an open-source labeling EGOPIPELINE that converts large collections of public egocentric videos into structured camera-and-hand trajectory supervision. MINT is first pretrained on these large-scale pseudo-labels and then fine-tuned on a small set of high-quality joint annotations. Across public benchmarks, MINT achieves [xxx] improvement in world-space hand trajectory accuracy, [xxx] improvement in camera trajectory estimation, and [xxx] faster end-to-end trajectory generation than the labeling pipeline, while generalizing zero-shot to unseen egocentric datasets. We release the model, training and inference code, labeling pipeline, and a curated 1,021-hour egocentric trajectory dataset.

arXivで原文を読む →arXiv概要ページ

← 論文一覧