日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
動作リターゲティングarXiv:2610.30540

時空間選好を用いたヒューマノイド移動操作のための動作リターゲティング

Motion Retargeting with Spatiotemporal Preferences for Humanoid Loco-Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語モデルで重要な身体部位とキーフレームを選び、最適化の計算資源を重点配分することで、物体接触を保ちながら人間の動作をヒューマノイドへ効率的に転写する手法を提案した。

詳しい要約

1. どんなもの?

- 人間のデモンストレーションを humanoid robot の参照軌道へ変換する motion retargeting 手法の提案。 - 対象は object-interaction を含む loco-manipulation タスク。 - Spatiotemporal Retargeting (STR) と名付けられ、keyframes と key body parts に最適化リソースを配分する。 - 併せて Mechanics-Aware Contact Anchoring (MCA) と Spatiotemporal Reinforcement Learning (STRL) を導入。 - Unitree G1 の simulation と Unitree R1 の real-world 実験で評価。

2. 先行研究と比べてどこがすごい?

- 従来は per-frame で均一な iteration budget を割り当てており、局所的な精度要求を考慮できていなかった。 - そのため計算効率が制限されるという課題があった。 - STR は keyframes と key body parts に追加の solver iterations や高い interaction weights を配分することで、この均一配分の限界に対処。 - 結果として低い計算コストで geometric contact coverage と continuity を改善。 - 具体的な比較対象の prior 手法名は要旨からは不明。

3. 技術・手法の肝は?

- vision-language model が関連する motion signals と body parts を選択。 - 選択された signals の変化から keyframes を同定。 - keyframes には追加の solver iterations を、選択された body parts には高い interaction weights を割り当てる。 - Mechanics-Aware Contact Anchoring (MCA) により、近似 object-wrench model を用いて object-surface contact 位置を精緻化しつつ、選択された surface directions を保持。 - 得られた参照軌道に対し、adaptive key-stage sampling と target proximity・object contact forces に基づく contact reward を組み合わせた Spatiotemporal Reinforcement Learning (STRL) を下流制御に用いる。

4. どうやって有効だと検証した?

- Unitree G1 を用いた simulation 実験を実施。 - Unitree R1 を用いた real-world 実験を実施。 - STR が低い計算コストで geometric contact coverage と continuity を改善することを示した。 - 生成された参照軌道が多様な object-interaction motions において下流タスクの completion を改善することを示した。 - 定量的な指標や比較手法の詳細は要旨からは不明。

5. 議論はある?

- 均一な per-frame iteration budget では局所的な精度要求に対応できないという動機が述べられている。 - keyframes と key body parts への選択的リソース配分が計算効率と接触精度の両立に寄与する点が議論の中心。 - MCA による contact fidelity の改善と、STRL による下流制御への効果が示唆される。 - 限界や失敗事例、計算コストの定量的比較、vision-language model 選択の誤りへの感度などは要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照・比較されている具体的な prior 研究は明示されていないため、同分野の定番として以下が候補。 - human-to-humanoid motion retargeting の代表的手法(例: 逆運動学ベースの retargeting)。 - whole-body control と loco-manipulation に関する研究。 - vision-language model を用いた motion signal / body part 選択の関連研究。 - contact-rich manipulation のための reinforcement learning 研究。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xiongbo Shi, Shihang Du, Zongyou Yu, Ao Zhou, Xudong Zhang, Ziyu Lin, Haodong Zhang, Junqiao Zhao, Guang Chen

分類: cs.RO

原文アブストラクト

Human motion retargeting bridges the embodiment gap between humans and humanoid robots by converting human demonstrations into reference trajectories for whole-body control and loco-manipulation. For object-interaction tasks, successful execution depends on accurately preserving body--object relations at critical stages. However, uniform per-frame iteration budgets do not account for these localized accuracy requirements, limiting the computational efficiency of retargeting. To address this limitation, we present Spatiotemporal Retargeting (STR), which uses keyframes and key body parts to allocate optimization effort. Specifically, a vision-language model selects relevant motion signals and body parts, and keyframes are identified from changes in the selected signals. Based on these selections, STR assigns additional solver iterations to keyframes and higher interaction weights to the selected parts. To further improve contact fidelity, we introduce Mechanics-Aware Contact Anchoring (MCA) to refine object-surface contact positions using an approximate object-wrench model while retaining the selected surface directions. Building on the resulting references, we develop Spatiotemporal Reinforcement Learning (STRL), which combines adaptive key-stage sampling with a contact reward based on target proximity and object contact forces for downstream control. Simulation experiments on a Unitree G1 and real-world experiments on a Unitree R1 demonstrate that STR improves geometric contact coverage and continuity at lower computational cost, while the resulting references improve downstream task completion across diverse object-interaction motions.

関連論文

PR本紙発行元 EmplifAI