Multi-HMR 2、カメラ座標系での3次元位置推定を実現するDETRベースのフレームワークを発表

何が起きたか

研究チームは2026年6月12日に、arXivでMulti-HMR 2を発表した。これは、複数人のカメラ中心の検出、メッシュ復元、トラッキングを行うDETRベースのフレームワークで、シーン整合的なカメラと人体メッシュを同時に予測し、内部パラメータなしでメートル単位の3次元位置推定を可能にする。

詳細

Multi-HMR 2は、骨盤中心の復元に焦点を当てた従来のHMR手法とは異なり、カメラ座標系でのメートル単位の3次元位置推定と検出精度を重視する。SAM2から画像ベースのメモリ特徴を蒸留することで、ビデオ入力なしで一貫したID関連付けを実現する。手作りのコンポーネントやビデオ入力、グラウンドトゥルースのカメラを必要としない。

Key Facts

本紙の見方

今回の発表は、人間メッシュ復元（HMR）の分野において、従来の骨盤中心の復元からカメラ座標系でのメートル単位の位置推定へと焦点を移す点で新規性がある。既存手法は固定カメラ仮定や手作業の後処理に依存しており、実世界の応用（人間とロボットのインタラクション、社会的シーン理解）での堅牢性に課題があった。Multi-HMR 2は、DETRベースのフレームワークを採用し、シーン整合的なカメラを予測することで、内部パラメータなしでメートル単位の位置推定を実現する。これは、カメラキャリブレーションの負担を軽減し、実環境での展開を容易にする可能性がある。また、SAM2からの特徴蒸留により、ビデオ入力なしでトラッキングを実現する点も注目される。従来のトラッキングはビデオシーケンスを必要とすることが多かったが、画像ベースのメモリ特徴を利用することで、単一画像からのトラッキングが可能になる。これは、計算コストとデータ要件の削減につながる。業界構造への含意としては、HMR技術の応用範囲が拡大する可能性がある。特に、ロボット工学や自動運転、監視システムなど、カメラ座標系での正確な位置情報が必要な分野での利用が期待される。一方で、未確定の論点として、実際のロボットや監視システムでの性能評価がまだ不明である。また、SAM2の蒸留がどの程度の計算資源を必要とするか、また、異なるカメラ設定や環境での堅牢性がどの程度かは、今後の検証が必要である。

なぜ重要か

Multi-HMR 2は、人間メッシュ復元の分野で、カメラ座標系でのメートル単位の位置推定を可能にし、実世界応用への道を開く。これにより、ロボットや監視システムなど、正確な3次元位置情報を必要とする分野での技術導入が進む可能性がある。