日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
VLAarXiv:2609.20669

明示的な軌道なしで先読みを学習する3D拡散ポリシー

Learning Foresight without Explicit Trajectories for 3D Diffusion Policies

シェア:XThreadsFacebookLINEはてブBluesky

短い観察履歴から相互作用の進展を潜在表現で先読みし、拡散ポリシーの行動生成を導く手法を提案。パラメータを3.52%増やすだけで複数ベンチマークで性能を大幅改善。

詳しい要約

1. どんなもの?

- 3D diffusion policy に将来の動きの予測(foresight)を組み込む手法。 - 明示的な軌道計画なしに、短い観測履歴から相互作用の進展を潜在表現で学習。 - 推論時は現在の観測と潜在表現を条件に行動生成。 - DP3 に 3.52% のパラメータ追加のみで、dense-action と receding-horizon を維持。

2. 先行研究と比べてどこがすごい?

- 既存の 3D diffusion policy は foresight を行動学習から暗黙的に獲得するのみ。 - 本手法は明示的な plan を導入せず、将来の gripper 状態で監督された潜在表現を条件付けに利用。 - DP3 に対し RoboTwin2.0 で 62.8% vs 56.1%、LIBERO-40 で 71.93% vs 37.08%、実機 5 タスクで 72.0% vs 49.0% と一貫した改善。

3. 技術・手法の肝は?

- 短い観測履歴から相互作用の進展を表す compact な latent representation を学習。 - 訓練時は sparse な将来の gripper 状態でこの表現を監督。 - 推論時は latent のみを future-oriented conditioning として現在の観測と併用。 - latent は行動生成の global conditioning を提供し、追加の gated FiLM branch を UNet bottleneck のみに適用。

4. どうやって有効だと検証した?

- RoboTwin2.0(50 タスク混合訓練)、LIBERO-40、DexArt、実機 5 タスクで評価。 - 成功率:RoboTwin2.0 62.8% vs 56.1%、LIBERO-40 71.93% vs 37.08%、実機 72.0% vs 49.0%。 - DP3 に対する一貫した改善を確認。

5. 議論はある?

- 明示的な軌道なしに foresight を提供できることを示す。 - パラメータ増加は 3.52% と軽微で、元の定式化を保持。 - 限界や失敗事例、計算コスト、一般化性に関する議論は要旨からは不明。

6. 次に読むべき論文は?

- DP3(3D Diffusion Policy) - RoboTwin2.0 - LIBERO-40 - DexArt - gated FiLM - UNet bottleneck を用いた条件付け手法

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhongbo Zhang, Zaibin Zhang, Yifan Wang, Changbo Yan, Lijun Wang, Huchuan Lu

分類: cs.RO, cs.CV

原文アブストラクト

3D diffusion policies are strong at generating geometrically grounded actions from current observations, but successful manipulation requires not only knowing what motion is feasible now, but also anticipating where the interaction is heading. Existing policies largely leave such foresight to emerge implicitly from action learning. We introduce Movement Trend Guidance, a simple but effective way to provide this foresight without introducing an explicit plan. From a short observation history, the policy learns a compact latent representation of interaction evolution. During training, sparse future gripper states supervise this representation; at inference, only the latent is retained as future-oriented conditioning alongside the current observation. The latent provides global conditioning for action generation, while an additional gated FiLM branch is used only at the UNet bottleneck. Despite adding only 3.52% more parameters to DP3, our method preserves the original dense-action and receding-horizon formulation and consistently improves upon DP3 across RoboTwin2.0, LIBERO-40, and DexArt. It reaches 62.8% vs. 56.1% in 50-task RoboTwin2.0 mixed training, 71.93% vs. 37.08% on LIBERO-40, and 72.0% vs. 49.0% on five real-robot tasks. These results show that a diffusion policy can benefit substantially from knowing where an interaction is heading, without being told exactly where to move.

関連論文

PR本紙発行元 EmplifAI