マニピュレーション2026/10/15arXiv:2610.21792

一人称人間動画からの軌道拡散による汎化可能なマニピュレーション

Trajectory-based Diffusion from One-shot Human Video for Generalizable Manipulation

人間の動画から物体の6D軌道を抽出し、拡散モデルで軌道を生成してロボットの模倣学習データを効率的に生成する手法を提案。RLBenchでほぼ100%の成功率を達成し、実機でも一人称の人間実演から汎化可能な操作を実現した。

詳しい要約

1. どんなもの？

- 人間の動画からロボットの模倣学習を可能にするTDVというフレームワークを提案。 - 6D pose estimationで物体軌道を抽出し、データ生成に活用。 - 視覚的ドメインギャップや行動ラベルの欠如を克服。 - RLBenchで7タスクでほぼ100%の成功率を達成。 - 実世界で一人称視点の人間動画からクロスエンボディメント汎化を実現。

2. 先行研究と比べてどこがすごい？

- 従来の模倣学習はteleoperationシステムによる労働集約的なデータ収集が必要。 - 人間動画は自然なデータ源だが、視覚的ドメインギャップと明示的な行動ラベルの欠如が課題。 - TDVは軌道をモダリティ非依存の中間表現として用いることで、これらの課題を解決。 - RLBenchで従来手法を上回る性能を示し、実世界でも効率的な軌道生成で汎化を実現。

3. 技術・手法の肝は？

- プラグアンドプレイの6D pose estimation技術を活用し、人間動画からタスク関連物体の軌道を抽出。 - 軌道は視覚ドメインや異なるエンボディメントに依存しない中間表現。 - 軌道ベースの拡散モデル（Trajectory-based Diffusion）を採用し、効率的なデータ生成を実現。 - 背景や視点の変動の影響を軽減。

4. どうやって有効だと検証した？

- RLBenchシミュレーションタスクで7タスクにおいてほぼ100%の成功率を達成。 - 実世界実験で一人称視点の人間デモンストレーションからクロスエンボディメント汎化マニピュレーションを実現。 - 効率的な軌道生成技術を活用。

5. 議論はある？

- 要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、6D pose estimation、軌道ベースの拡散モデル、模倣学習、クロスエンボディメント汎化に関する論文が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Guoping Pan, Xinmiao Yu, Wannan Cao, Jincheng Li, Baolin Jiang, Yizhe Li, Yi Cheng, Houde Liu

分類: cs.RO

原文アブストラクト

Imitation learning enables robots to perform complex tasks by leveraging human-collected demonstrations. However, most existing approaches require labor-intensive data collection with additional teleoperation systems, which hinders scalability. Human videos represent a natural source of data that implicitly contain knowledge of manipulation behaviors. However, transferring them to robots remains challenging due to the visual domain gap and the absence of explicit action labels. In this work, we introduce TDV, a trajectory-based framework that leverages data generation to enable generalizable manipulation. TDV focuses on task-relevant objects by leveraging plug-and-play 6D pose estimation techniques to extract object trajectories from human videos, thereby mitigating the impact of irrelevant backgrounds and varying viewpoints. As a modality-agnostic intermediate representation, trajectories are inherently independent of the visual domains and different embodiments, enabling efficient data generation. Our method outperforms previous approaches on RLBench simulation tasks, achieving near 100\% success rates across seven tasks. In real-world experiments, TDV enables cross-embodiment generalization manipulation from one-shot human demonstrations by leveraging efficient trajectory generation techniques.

arXivで原文を読む →arXiv概要ページ

一人称人間動画からの軌道拡散による汎化可能なマニピュレーション

詳しい要約

1. どんなもの？

2. 先行研究と比べてどこがすごい？

3. 技術・手法の肝は？

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

原文アブストラクト

関連論文