InstantHMR、スマートフォンで人体メッシュを5.5ミリ秒で復元する手法を発表

何が起きたか

論文「InstantHMR」は2026年11月6日、スマートフォン向けの単一画像人体メッシュ復元手法をarXivで発表した。Samsung Galaxy S23のNPUで、6,890頂点の人体メッシュを1人当たり5.5ミリ秒で復元し、NVIDIA RTX 4070 GPUでは0.98ミリ秒だった。論文は、SAM 3D Bodyデータセットの公開アノテーションのみで学習したオープンソースの回帰モデル群としている。

詳細

InstantHMRはMomentum Human Rig（MHR）のパラメトリックモデルを基盤とする。精度評価では、3DPWでPA-MPJPE 40.0ミリメートル、EMDBで48.8ミリメートル、RICHで41.7ミリメートルを報告した。論文によると、モバイル対応手法のうち精度がわずかに上回る手法に対して、InstantHMRは12倍高速だった。 比較の公平性を確保するため、MHRベースの競合手法に合わせた統一プロトコルで11の既存手法を再評価し、Metaの公式MHR-to-SMPL変換も含めて再現結果を報告した。レイテンシーはデスクトップのTensorRTから2種類のスマートフォンNPUまで、8つの実行環境で測定した。コードとモデルは公開されている。

Key Facts

本紙の見方

この論文の要点は、人体メッシュ復元を単に軽量化したことだけではない。Samsung Galaxy S23のNPUで1人当たり5.5ミリ秒、RTX 4070で0.98ミリ秒という処理時間を示しつつ、3つのデータセットで誤差指標を提示し、速度と精度を同じ枠組みで読む材料を用意した点にある。論文は、比較対象のうちモバイル対応で精度がわずかに高い手法に対して12倍高速とする一方、評価した手法や条件の範囲での結果であり、あらゆる端末・画像条件での優位を意味するものではない。 モデルはMHRを使い、SAM 3D Bodyデータセットの公開アノテーションだけで学習したとされる。したがって、今回示されたのは単眼画像から人体形状を推定する処理であって、ロボットの行動計画や操作の性能ではない。ロボティクス、バイオメカニクス、AR/VR、運動ゲームへの応用可能性は論文が挙げる対象領域だが、実環境での導入実績や、そこから得られる効果を示すものではない。 本紙の関連記事であるHugging Face、ロボット学習基盤「LeRobot v0.7.0」を公開　対話操作と大規模データ学習に対応は、ロボット学習やデータ活用を扱った。InstantHMRはそのような学習基盤とは異なる層、すなわち画像から身体形状を得る認識処理に位置づけられる。ロボットに接続するには、推定メッシュをどの制御・学習工程で使うかを別途検証する必要がある。 比較手法を統一条件で再評価し、Metaの公式MHR-to-SMPL変換を含めたことは、モデル間の数値を単純に並べる際の条件差を意識した設計と読める。また、デスクトップからスマートフォンNPUまで8環境を測ったことで、モデル単体の性能だけでなく実行先による遅延差を検討する枠組みも示した。ただし、論文要旨にある端末情報は一部に限られ、スマートフォンNPUごとの個別結果や、実際のロボットでの評価はここから確認できない。次に見るべきなのは、異なる撮影条件や動作中の人体での精度、端末ごとの消費電力、推定誤差が下流のロボット処理に与える影響である。

なぜ重要か

論文の数値は、単一画像から人体形状を得る処理をスマートフォン上で動かす際の速度と精度の基準を示す。ロボティクスへの応用は論文が挙げる用途の一つだが、実機での動作や制御への有効性は別途確認が必要である。