日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
両手マニピュレーションarXiv:2610.29997

人間のデモンストレーションから学ぶ汎用両手巧みさ追従制御

DONIC: Generalist Dexterous Bimanual Tracking Control from Human Demonstrations

シェア:XThreadsFacebookLINEはてブBluesky

両手巧み操作の汎用トラッカーDONICと、多視点データセットBiHOIを提案し、PPOと行動クローニングを組み合わせて単一ポリシーで異種参照を追従できるようにした。

詳しい要約

1. どんなもの?

- 両手(dexterous bimanual)の参照軌道追従(reference tracking)を汎用的に学習する初のgeneralist bimanual tracker「DONIC」の提案。 - 併せて、多視点(multi-view)の両手操作データセット「BiHOI」を構築。1,575 sequences・229 objectsを含み、持続的な両手interactionを重視。 - 再構成したinteractionをrobot referencesへretargetingして学習に利用。 - 単一のpolicyで異種参照(heterogeneous references)にわたる協調manipulationを学習することを目指す。

2. 先行研究と比べてどこがすごい?

- 既存のdexterous reference trackingは主にsingle-hand manipulationと限られたinteractionに限定され、実生活で一般的なbimanual dexterous behaviorsが未解決だった。 - contact-richなbimanual manipulationデータの不足とcontact coordinationの複雑さが汎用bimanual trackerの障壁だった。 - DONICはoperation categoriesとhuman-motion sourcesを横断してjointly trainingする初のgeneralist bimanual tracker。 - finetuning無しの単一checkpointで、未見trajectoryに対しtraining objects 86.79%、held-out objects 57.32%のsuccessを達成し、SOTA bimanual tracking baselinesをそれぞれ77.36・45.73 percentage points上回る。

3. 技術・手法の肝は?

- proximal policy optimizationとbehavioral cloningをfeedback loopで組み合わせ、検証済みの成功実行をtraining demonstrationsへ再投入(recycle)する。 - object-centered per-hand rewardを採用し、object-motion feedbackを維持しつつ各handをそのreference contact roleに応じてsuperviseする。 - Clip-Centered Advantagesにより、reference依存のadvantage offsetsを除去しつつwithin-trajectory differencesを保持する。 - これらの設計により、単一policyがheterogeneous references間のcoordinated manipulationを学習可能になる。

4. どうやって有効だと検証した?

- BiHOIデータセット(1,575 sequences、229 objects、multi-view)を構築し、再構成interactionをrobot referencesへretargetingして検証に使用。 - finetuning無しの単一checkpointで評価し、training objectsの未見trajectoryで86.79%、held-out objectsで57.32%のsuccessを報告。 - SOTA bimanual tracking baselinesと比較し、それぞれ77.36・45.73 percentage pointsの改善を確認。

5. 議論はある?

- held-out objectsでのsuccessは57.32%にとどまり、未見objectへの汎化には依然ギャップがある。 - contact-rich bimanual manipulationデータの不足が課題として挙げられており、データ拡充の必要性が示唆される。 - 具体的なfailure modeや限界、ablationの詳細は要旨からは不明。

6. 次に読むべき論文は?

- 比較対象であるSOTA bimanual tracking baselines(具体的名称は要旨からは不明)。 - 基盤手法であるproximal policy optimization(PPO)およびbehavioral cloning。 - 関連データセットとしてBiHOI(本論文提案)。 - 同分野の定番としてsingle-hand dexterous reference trackingやhuman demonstrationからのretargeting研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Mingze Sun, Ziang Cao, Yuan Fei, Qiankuan Tao, Zihan Wang, Tianqi Liu, Junhao Chen, Haiwen Diao, Fangzhou Hong, Zhaoxi Chen, Ziwei Liu

分類: cs.RO, cs.CV

原文アブストラクト

Despite recent progress in dexterous reference tracking, existing models focus primarily on single-hand manipulation and a limited range of interactions, leaving the bimanual dexterous behaviors common in real life unaddressed. The scarcity of contact-rich bimanual manipulation data and the increased complexity of coordinating contacts make developing a generalist bimanual tracker particularly challenging. Therefore, we present 1) DONIC, the first generalist bimanual tracker jointly trained across operation categories and human-motion sources, together with 2) BiHOI, a multi-view dataset of 1,575 sequences spanning 229 objects and emphasizing sustained bimanual interaction, where reconstructed interactions are retargeted into robot references. DONIC combines proximal policy optimization with behavioral cloning in a feedback loop that recycles verified successful executions into training demonstrations. An object-centered per-hand reward maintains object-motion feedback while supervising each hand according to its reference contact role. Clip-Centered Advantages remove reference-dependent advantage offsets while preserving within-trajectory differences. Together, these designs enable one single policy to learn coordinated manipulation across heterogeneous references. Without finetuning, a single checkpoint achieves 86.79% success on unseen trajectories of training objects and 57.32% on held-out objects, surpassing the state-of-the-art bimanual tracking baselines by 77.36 and 45.73 percentage points.

PR本紙発行元 EmplifAI