3Dダイナミクス/事前学習2026/9/16arXiv:2609.19142

PointZero: 転移可能な3Dダイナミクス学習のための3D点追跡補完

PointZero: 3D Point Track Completion for Learning Transferable 3D Dynamics

ロボットの行動ラベルなしで、RGB-D観測と部分的な3D軌跡から全点の未来軌跡を予測する事前学習手法を提案し、下流のダイナミクス予測や模倣学習で有効性を示した。

詳しい要約

1. どんなもの？

- 3D point track completion を pre-training 目的として、ロボット行動ラベルなしで transferable な 3D dynamics を学習する研究。 - 単一の RGB-D 観測と sparse partial 3D tracks から、観測点全体の future 3D tracks を予測する。 - 2.9 million synthetic frames からなる deformable, articulated, rigid 物体を含む dataset を構築し、PointZero を学習。 - 下流タスクとして action-conditioned 3D dynamics prediction と imitation learning に post-training する。

2. 先行研究と比べてどこがすごい？

- 既存手法は action-conditioned 3D dynamics の学習に robot action labels を必要とし、web video data を訓練に使えなかった。 - 本研究は robot data なしで 3D dynamics prior を獲得できる pre-training 目的を提案し、訓練データの制約を緩和。 - 同じデータ上で、柔軟で表現力の高い transformer である PointZero が prior methods を上回る。 - PGND 3D dynamics benchmark や 6/7 の simulated/real-world robot manipulation tasks で baselines を上回るか同等。

3. 技術・手法の肝は？

- 入力は単一 RGB-D 観測と sparse partial 3D trajectories (tracks)。 - 出力は観測された全点の future 3D tracks を予測する point track completion。 - この目的により robot action labels なしで rich 3D dynamics prior を学習。 - アーキテクチャは flexible and expressive transformer である PointZero を使用。 - 下流では end-effector pose 条件付けや robot actions と 3D tracks の予測に fine-tune。

4. どうやって有効だと検証した？

- 2.9 million synthetic frames の dataset で PointZero を訓練し、同一データ上で prior methods と比較。 - action-conditioned 3D dynamics prediction では PGND 3D dynamics benchmark で baselines を上回る。 - imitation learning では 6/7 の simulated and real-world robot manipulation tasks で baselines を上回るか同等。 - PointZero を scratch から訓練し、提案アーキテクチャと pre-training 目的・dataset の利点を分離して評価。

5. 議論はある？

- robot action labels なしで web video data を含む多様なデータから 3D dynamics prior を学習できる可能性を示す。 - 提案する pre-training 目的と dataset の貢献を、アーキテクチャの効果から分離して議論。 - dataset, checkpoints, full training recipe を公開。 - 限界や失敗事例、計算コスト、実世界への一般化の詳細は要旨からは不明。

6. 次に読むべき論文は？

- PGND 3D dynamics benchmark に関する研究。 - action-conditioned 3D dynamics prediction の prior methods。 - imitation learning の baselines。 - 3D point tracking や world models の関連手法（要旨で具体的名称は不明）。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Bardienus P. Duisterhof, Kaifeng Zhang, Adam Hung, Bowen Wen, Stan Birchfield, Yunzhu Li, Deva Ramanan, Jeffrey Ichnowski

分類: cs.CV, cs.RO

原文アブストラクト

World models endow perceptual systems with the ability to predict how scenes evolve under interaction. They are most beneficial when trained on diverse volumes of data, to instill a rich prior into downstream applications. Existing methods typically require robot action labels to learn action-conditioned 3D dynamics, which excludes web video data from the training pool. We study 3D point track completion as a pre-training objective for learning transferable 3D dynamics without robot data. Given a single RGB-D observation and sparse partial 3D trajectories (tracks), we predict future 3D tracks of all observed points. We show this objective produces a rich 3D dynamics prior, without requiring robot action labels. We contribute a diverse dataset of 2.9 million synthetic frames spanning deformable, articulated, and rigid objects, and use it to train PointZero. We show that a flexible and expressive transformer, PointZero, outperforms prior methods on the same data. We demonstrate the utility of our pre-training objective by post-training PointZero for two downstream applications: (1) action-conditioned 3D dynamics prediction and (2) imitation learning. When fine-tuned to condition on end-effector pose, PointZero outperforms the baselines on the recent PGND 3D dynamics benchmark. When fine-tuned to predict robot actions and 3D tracks, PointZero outperforms or matches the baselines on 6/7 simulated and real-world robot manipulation tasks. We furthermore evaluate training PointZero from scratch to isolate the benefits of our proposed architecture from those of our proposed pre-training objective and dataset. We release the dataset, checkpoints, and full training recipe.

arXivで原文を読む →arXiv概要ページ

← 論文一覧