日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
マニピュレーションarXiv:2610.28628

単一の人間動作から適応的な器用スキルを学習するハイブリッド模倣フレームワーク

Learning Adaptable Dexterous Skills via Hybrid Dexterous Mimicking

シェア:XThreadsFacebookLINEはてブBluesky

数秒の手指動作軌道を目標条件付き強化学習で学習し、人間の事前知識と汎化性能を両立させて多様な器用スキルを獲得する手法を提案。

詳しい要約

1. どんなもの？

- 目的 - 単一のhand-object trajectory（数秒）から、適応可能なdexterous skillを学習するgoal-conditioned RLフレームワークAdaDexを提案 - 対象タスク - functional grasp、object reposing、in-hand reorientation（finger gaiting含む）、throw-and-catchなどのdynamic behavior - 入力 - mocapデータ、またはin-the-wild RGB(D) videoからのHOI reconstructionによるhand-object trajectory - 出力 - 多様な物体poseやgoalに対応できるdexterous policy

2. 先行研究と比べてどこがすごい？

- goal-reaching RL - 任意のobject poseに汎化するが、human priorが無く不自然で信頼性の低いfinger strategyに収束 - motion tracking - 単一clipから人間らしい挙動を再現するが、参照から逸脱できない - AdaDexの利点 - 両者のトレードオフを解消し、human priorを保ちつつ参照から大きく外れた状況でも機能する適応的skillを獲得 - 数秒のhuman motionから多様なskillを学習可能

3. 技術・手法の肝は？

- Hybrid Dexterous Mimicking - 共有policyを2種類のmassively parallel environmentsで同時に訓練 - motion tracking environments - dense motion tracking objectiveで訓練し、human motion由来のpriorを注入 - generalization environments - 初期状態とgoalにnoiseを加え、sparseなobject-success rewardで訓練 - 参照から離れた状況でもskillが機能することを強制 - 結果 - 数秒のhuman motion per skillから適応可能なdexterous skillを獲得

4. どうやって有効だと検証した？

- 評価対象skill - functional grasping、object reposing、in-hand reorientation with finger gaiting、throw-and-catch - 比較 - baselinesに対しgeneralizationとfunctionalityで優位 - 転移 - simulator間のtransfer、およびreal worldへのtransferを実証 - 詳細な実験設定・指標は要旨からは不明

5. 議論はある？

- 主張 - human priorとgoal-conditioned generalizationの両立が可能 - 数秒の参照motionで多様なadaptable skillを学習できる - 限界・議論 - 具体的な限界、失敗事例、real world転移の定量的詳細は要旨からは不明 - 参照trajectoryの品質やHOI reconstruction誤差の影響は要旨からは不明

6. 次に読むべき論文は？

- motion trackingをhuman priorとして用いる手法（motion tracking / motion imitation） - goal-reaching reinforcement learning - HOI reconstruction（in-the-wild RGB(D) videoからのhand-object trajectory復元） - dexterous manipulationの代表的手法（in-hand reorientation、functional grasp） - sim-to-real transferおよびsimulator間transferの関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yuxuan Kuang, Jiashun Wang, Yixuan Sun, Yufei Ye, Sungjae Park, Umar Iqbal, Katerina Fragkiadaki, Shubham Tulsiani

分類: cs.RO, cs.CV, cs.GR, cs.LG

原文アブストラクト

Dexterous multi-finger hands hold promise to unlock diverse skills like functional grasps, in-hand reorientation, and dynamic handover that the human-designed world assumes, yet existing learning recipes force a trade-off. Goal-reaching reinforcement learning generalizes to arbitrary object poses but, lacking any human prior, converges to unnatural and unreliable finger strategies; motion tracking reproduces human-like behavior from a single clip but cannot deviate from it. We present AdaDex, a goal-conditioned RL framework that turns a single hand-object trajectory of a few seconds---from mocap data or HOI reconstruction from in-the-wild RGB(D) video---into an adaptable dexterous skill. At the core of AdaDex is Hybrid Dexterous Mimicking: a shared policy is trained on two populations of massively parallel environments: motion tracking environments trained with dense motion tracking objective, which instill the human prior from human motion; and generalization environments with noised initial states and goals and a sparse object-success reward, which force the skill to work far off the reference. From seconds of human motion per skill, the resulting policies can learn diverse adaptable dexterous skills, such as functional grasping, object reposing, in-hand reorientation with finger gaiting, and dynamic behaviors like throw-and-catch. Our method outperforms baselines in terms of generalization and functionality, and we demonstrate transfer across simulators and to the real world. Project page: https://yuxuank.com/AdaDex/.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI