日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
マニピュレーションarXiv:2610.41336

物体中心ポリシーで人間らしい巧みな操作を一人称視点動画から学習するHandMimicX

HandMimicX: Learning Human-Like Dexterous Manipulation via an Object-Centric Policy from Egocentric Videos

シェア:XThreadsFacebookLINEはてブBluesky

一人称視点の人間動画から、物体の動きを中心に強化学習方針を定式化し、手の軌道に依存せず空間的に汎化可能な巧みな操作スキルを獲得するフレームワークを提案した。

詳しい要約

1. どんなもの？

- 一人称視点の人間 RGB-D 動画から、物体中心の policy を学習して器用な manipulation を獲得する枠組み - 単一の demonstration を空間的に汎化可能なロボット技能へ転移することを狙う - 手の動きの模倣ではなく、object motion を中心に据えた枠組みを提案 - simulation と実ロボットの両方で検証

2. 先行研究と比べてどこがすごい？

- 先行研究は hand-motion imitation を重視していたのに対し、object-centric な枠組みを導入 - RL の目的関数を object motion で定式化し、手の軌道から技能を切り離す点が新しい - hand-object interaction 状態に制約を課し、解剖学的に自然な手の配置を促す - 単一 demonstration からの空間汎化を目指す点が先行研究と異なる

3. 技術・手法の肝は？

- egocentric human RGB-D videos を入力とする object-centric framework - RL の目的関数を object motion に基づいて定式化し、skill を hand trajectory から decouple - hand-object interaction states に制約を課し、human-like な hand configurations を促進 - 物体中心表現により、新規の spatial configurations への転移を可能にする

4. どうやって有効だと検証した？

- simulation および実ロボットでの extensive experiments を実施 - 人間の動画からの効率的な学習が可能であることを示す - 新規の spatial configurations への汎化可能な skill transfer を実証 - 詳細な評価指標や比較手法は要旨からは不明

5. 議論はある？

- 物理的に妥当で人間らしい interaction の維持を課題として挙げている - 解剖学的に自然な hand configurations の制約の重要性に言及 - 具体的な限界や失敗事例、議論の詳細は要旨からは不明

6. 次に読むべき論文は？

- hand-motion imitation を重視する prior works（個別名は要旨からは不明） - egocentric videos からの dexterous manipulation 学習に関する関連研究 - object-centric policy learning や RL を用いた manipulation 転移の定番手法（例: domain randomization を用いた sim-to-real 研究）

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zihan Gao, Yufei Liu, Yuhong Zhang, Zhen Yu, Xinhao Huang, Zhinan You, Kai W. Ho, Zipeng Ye, Peng Jiao, Haoqian Wang

分類: cs.RO

原文アブストラクト

Learning dexterous manipulation from human videos remains an open challenge, particularly in the context of transferring a single demonstration into a spatially generalizable robotic skill and maintaining physically plausible human-like interactions. Unlike prior works that emphasize hand-motion imitation, we introduce an object-centric framework for acquiring dexterous skills from egocentric human RGB-D videos. Within our framework, we formulate the reinforcement learning (RL) objective in terms of object motion to decouple the underlying skill from the specific hand trajectory and impose constraints on hand-object interaction states to promote more anatomically natural hand configurations. Extensive experiments in simulation and on real robots demonstrate that our method enables efficient learning from human videos and generalizable skill transfer across novel spatial configurations.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI