日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

人体姿勢推定arXiv:2611.25801

高速・高精度な人体姿勢推定とシーン統合フレームワークFAB

Fast and Accurate Body Estimation in Pixels, World Space and Scenes

シェア:XThreadsFacebookLINEはてブBluesky

画像から人体の骨格・表面点を直接予測し、接触点推定や世界座標モーション、シーン奥行き統合、ヒューマノイドへの動作転送までをリアルタイムで行う推定器FABを提案した論文。

詳しい要約

1. どんなもの?

- FAB (Fast and Accurate Body estimation) は、人体の推定精度と推論効率を同時に改善する human body estimator。 - パラメトリックな mesh-model パラメータのみを予測するのではなく、human skeleton joints と dense surface points を直接予測する。 - 画像中で dense 2D/3D body points とパラメトリックな Momentum Human Rig (MHR) head を予測し、SMPL を学習済みの1パスと2回の Gauss-Newton steps でフィットする。 - 同じネットワークで heel, toe, hand, knee contacts を予測し、body と scene を接続する。 - world-space motion 推定、可視人物周辺の static-scene depth 融合、予測 contact による body-scene アライメントも行う。 - human-to-humanoid real-to-sim trans…

2. 先行研究と比べてどこがすごい?

- SAM 3D Body を fine-tune したモデルから distillation した ViT-L student の FAB-L が、RTX 4070 Ti SUPER 上で1人分の detection から fitted body まで real time で動作する。 - SAM 3D Body の eager-PyTorch body-only path と比べて 4.6x の速度を達成する。 - 多くの camera-space benchmarks で精度を改善する。 - FAB-Retarget は SOMA, GMR, UMR, OmniRetarget などの specialized retargeters よりも人物に近い reference を生成する。 - Fast SAM 3D Body を sequence IK で retarget した場合よりも大幅に近い reference を生成する。

3. 技術・手法の肝は?

- パラメトリック mesh-model パラメータのみでなく、human skeleton joints と dense surface points を直接予測する。 - 画像から dense 2D/3D body points とパラメトリックな MHR head を予測する。 - SMPL フィッティングを学習済みの1パスと2回の Gauss-Newton steps で行う。 - ViT-L student の FAB-L は fine-tune した SAM 3D Body から distillation される。 - 同一ネットワークで heel, toe, hand, knee contacts を予測する。 - world-space motion 推定、可視人物周辺の static-scene depth 融合、予測 contact による body-scene アライメントを行う。 - in-model G1 head と FAB-Retarget が dense points または fitted mesh を読み、Unitree G1 への motion-le…

4. どうやって有効だと検証した?

- FAB-L の速度を SAM 3D Body の eager-PyTorch body-only path と比較し、4.6x の高速化を報告。 - 多くの camera-space benchmarks で精度改善を報告。 - FAB-Retarget の生成 reference を SOMA, GMR, UMR, OmniRetarget および Fast SAM 3D Body + sequence IK と比較し、人物への追従性がより高いことを示す。 - 詳細な評価プロトコルやデータセットは要旨からは不明。

5. 議論はある?

- 要旨からは不明。 - 想定される論点として、contact 予測や world-space motion 推定の誤差が body-scene アライメントや retargeting に与える影響、real-to-sim transfer の汎化性などが考えられるが、要旨には明記されていない。

6. 次に読むべき論文は?

- SAM 3D Body (FAB-L の distillation 元であり比較対象) - SMPL (フィッティング対象の parametric body model) - Momentum Human Rig (MHR) - SOMA, GMR, UMR, OmniRetarget (比較対象の specialized retargeters) - Fast SAM 3D Body (sequence IK と組み合わせた比較対象) - Unitree G1 (humanoid platform)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jinkun Cao

分類: cs.CV, cs.RO

原文アブストラクト

We present FAB (Fast and Accurate Body estimation), a human body estimator that jointly improves inference efficiency and body-recovery fidelity. Rather than predicting only parametric mesh-model parameters, FAB directly predicts human skeleton joints and dense surface points. In images, it predicts dense 2D and 3D body points alongside a parametric Momentum Human Rig (MHR) head, then fits SMPL in one learned pass followed by two Gauss-Newton steps. Its ViT-L student, FAB-L, distilled from a fine-tuned SAM 3D Body, runs in real time for one person on an RTX 4070 Ti SUPER, from detection to a fitted body, at 4.6x the speed of SAM 3D Body's eager-PyTorch body-only path, while improving accuracy on most camera-space benchmarks. The same network predicts heel, toe, hand, and knee contacts, which connect the body to the scene. FAB also estimates world-space motion, fuses static-scene depth around the visible person, and aligns body and scene using predicted contacts. For human-to-humanoid real-to-sim transfer, an in-model G1 head and FAB-Retarget, a motion-level retargeter that reads dense points or the fitted mesh, map motion to a Unitree G1. FAB-Retarget produces references that follow the person more closely than specialized retargeters including SOMA, GMR, UMR, and OmniRetarget, and substantially more closely than Fast SAM 3D Body retargeted with our sequence IK. Project page: https://www.jinkuncao.com/FAB.

関連論文

  1. 1パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  2. 2川崎重工業のロボット外販を報道新製品・発表
  3. 3Boston Dynamics、GlobalFoundriesでAtlasを試験へ 半導体製造で2027年初頭から半導体・GPU
  4. 4丸文、RealManのロボットアームやヒューマノイドを国内販売提携・買収
  5. 5NVIDIA、SC26で科学研究向けAIエージェントとHPC基盤を発表新製品・発表

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI