日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
マニピュレーションarXiv:2610.06331

DexForge: 高忠実度な物理情報に基づく巧みなリターゲティング

DexForge: High-Fidelity Physics-Informed Dexterous Retargeting

シェア:XThreadsFacebookLINEはてブBluesky

人間の動画デモから球面ガウス物体モデルと手・物体動作を再構成し、微分可能シミュレータ上で接触と力を考慮したリターゲティングを行うことで、高忠実度なロボット巧み手の軌道を生成するフレームワーク。

詳しい要約

1. どんなもの？

- 人間の動画デモをロボットの高忠実度軌道に変換する微分可能な物理ベースのフレームワーク。 - 球面Gaussianによる物体モデルとhand-object運動を視覚から再構成。 - 効率的なGaussian衝突検出と既存の微分可能ダイナミクスを組み合わせた微分可能シミュレータを構築。 - contact-awareなkinematic retargetingとforce-awareなdynamics retargetingを統合。 - 7種のdexterous hands、130のDexYCBとHOT3Dデモで評価。

2. 先行研究と比べてどこがすごい？

- 従来のretargetingは物理制約下での高忠実度再現とhand-object相互作用の再現が困難。 - DexForgeは微分可能物理に基づき、kinematicとdynamicsの両retargetingを統合。 - baseline比で成功率が約35-53ポイント向上。 - 成功軌道での物体位置・姿勢追従誤差をそれぞれ約34-67%、71-78%削減。 - open-loopでMuJoCoや実機への転移も示す。

3. 技術・手法の肝は？

- 視覚観測からspherical-Gaussian物体モデルとhand-object運動を再構成。 - 効率的なGaussian衝突検出と既存の微分可能ダイナミクスを組み合わせた微分可能シミュレータを構築。 - contact-aware kinematic retargetingでロボット適応した安定接触を導出し、kinematic参照を構築。 - force-aware dynamics retargetingで勾配ベースの制御を精緻化し、物理的な運動再現を実現。 - これらを組み合わせて高忠実度のロボット軌道を生成。

4. どうやって有効だと検証した？

- 130のDexYCBとHOT3Dデモ、7種のdexterous handsで実験。 - baseline比で成功率が約35-53ポイント向上。 - 成功軌道での物体位置誤差を約34-67%、姿勢誤差を約71-78%削減。 - open-loopでMuJoCoへの転移と実機実行を実証。 - プロジェクトページで詳細を公開。

5. 議論はある？

- 要旨からは不明。 - 限界や失敗事例、計算コスト、汎化性に関する議論は要旨に記載なし。

6. 次に読むべき論文は？

- DexYCB - HOT3D - MuJoCo - 微分可能シミュレーション（differentiable simulation） - kinematic retargeting / dynamics retargeting

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Meizhong Wang, Kun Cao, Ruiqi Ni, Lihua Xie, Yiguang Hong

分類: cs.RO

原文アブストラクト

Human demonstrations offer rich examples of precise dexterous manipulation and a promising source of robot training data. However, high-fidelity reproduction of demonstrated motions and hand-object interactions across robot embodiments remains challenging under physical constraints. We present DexForge, a differentiable physics-grounded framework for converting human video demonstrations into high-fidelity robot trajectories. We reconstruct spherical-Gaussian object models and hand-object motion from visual observations, then build a differentiable simulator combining efficient Gaussian collision detection with existing differentiable dynamics. Based on this simulator, DexForge combines contact-aware kinematic retargeting with force-aware dynamics retargeting: robot-adapted stable contacts guide kinematic reference construction and subsequent gradient-based control refinement for precise physical motion reproduction. Experiments on 130 DexYCB and HOT3D demonstrations across seven dexterous hands show success-rate gains of approximately 35-53 percentage points over the baseline, with object position and orientation tracking errors on successful trajectories reduced by approximately 34-67% and 71-78%, respectively. Further experiments demonstrate open-loop transfer to MuJoCo and real-robot execution. Our project page is available at https://wmz1226.github.io/DexForge/

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI