日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
リターゲティングarXiv:2610.26762

物体認識型キネマティックリターゲティングによる多指ハンド動作生成

DexOAK: Object-Aware Kinematic Retargeting

シェア:XThreadsFacebookLINEはてブBluesky

人間の動作キャプチャから物体との接触を保ったロボットハンド参照動作を生成する学習ベースのリターゲティング手法を提案し、両手タスクでの動的リターゲティング性能と実機再現性を向上させた。

詳しい要約

1. どんなもの？

- 人間の motion-capture データから、接触整合性のあるロボットハンド参照軌道を生成する学習ベースの枠組み - 名称は DexOAK (Object-Aware Kinematic Retargeting) - 対象は多指ロボットハンドによる dexterous manipulation - 出力は physics-based refinement の初期参照として使える関節軌道 - 剛体・articulated object の両方を扱う

2. 先行研究と比べてどこがすごい？

- 従来の retargeting は人間の手姿勢そのものを再現しがちだが、DexOAK は物体相対の interaction geometry を再現 - 既存 state-of-the-art の dynamic retargeting を bimanual タスクで上回る - Inspire hand で OakInk-v2 の success が 39.5% から 48.4% へ向上 - ARCTIC で ADD-AUC が 62.7% から 77.9% へ向上 - 学習後は per-frame optimization なしの推論のみで未見データへ転移可能

3. 技術・手法の肝は？

- 手と物体の joint graph 上で interaction-graph Laplacian objective を最小化し、物体相対の接触幾何を再現する per-frame 解を得る - これらを seed retargeted references として、human keypoints と object point clouds を条件とする feed-forward network が retargeting 関数を学習 - object-aware finetuning で contact・non-penetration・self-collision 損失を課し、指を実演接触位置へ配置し物理精緻化を不安定化するアーティファクトを低減 - 学習済みネットワークは推論のみで新規データへ適用

4. どうやって有効だと検証した？

- bimanual タスクで剛体・articulated object を用い、state-of-the-art の dynamic retargeting と比較 - OakInk-v2 の success と ARCTIC の ADD-AUC で定量評価 - ablation により object-aware kinematic retargeting と contact 損失で精緻化した amortized network の寄与を分析 - OakInk-v2 学習モデルの ARCTIC zero-shot 転移と fine-tuning 後の in-domain 近傍性能を確認 - 実機で 5 タスクにわたり 46/56 の open-loop replay 成功

5. 議論はある？

- 物体相対の接触整合性が下流の physics-based refinement の安定性に寄与する点を主張 - 学習ベースの amortization により per-frame optimization を回避できる利点を議論 - zero-shot 転移は可能だが fine-tuning 後に in-domain 性能へ近づくため、ドメイン差の影響が示唆される - 実機検証は open-loop replay に限られ、closed-loop 制御下の性能は要旨からは不明 - 失敗 10/56 の要因分析は要旨からは不明

6. 次に読むべき論文は？

- OakInk-v2 - ARCTIC - Inspire hand を用いた関連 dexterous retargeting 研究 - interaction-graph Laplacian に基づく retargeting 手法 - physics-based refinement を用いる dexterous manipulation 研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Federica Spinola, Robert Katzschmann, Cordelia Schmid

分類: cs.RO

原文アブストラクト

We introduce DexOAK, a learning-based object-aware kinematic retargeting framework for generating contact-consistent robot hand references from human motion-capture data. DexOAK first minimizes an interaction-graph Laplacian objective over a joint hand-object graph, so the robot reproduces the demonstrated object-relative interaction geometry rather than the human hand pose alone. These per-frame solutions form seed retargeted references, from which a feed-forward network conditioned on human keypoints and object point clouds learns the retargeting function. Object-aware finetuning then refines the network under contact, non-penetration, and self-collision losses that position the fingers on the demonstrated contacts and reduce artifacts destabilizing physics-based refinement. Once trained, the network transfers to unseen data by inference alone, without per-frame optimization. DexOAK references improve dynamic retargeting over the state-of-the-art across bimanual tasks with rigid and articulated objects. On the Inspire hand, success rises from 39.5% to 48.4% on OakInk-v2, and ADD-AUC rises from 62.7% to 77.9% on ARCTIC. Ablations trace the gains to object-aware kinematic retargeting and the amortized network refined with contact losses. Trained on OakInk-v2, it transfers to ARCTIC zero-shot and nears in-domain performance after fine-tuning. On hardware, 46/56 open-loop replays succeed across five tasks, enabling dexterous robot data generation from human data. Visualizations and interactive results are at: https://fspinola.github.io/dexoak/.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI