日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
マニピュレーションarXiv:2610.28164

予測幾何から行動へ：身体性マニピュレーションのための相補的予測表現の学習

From Predictive Geometry to Action: Learning Complementary Predictive Representations for Embodied Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

多視点動画から将来の幾何変化を予測する表現と行動に関連する遷移表現を2段階で学習し、推論時に未来観測を必要とせず操作ポリシーの性能を向上させるフレームワークを提案した論文。

詳しい要約

1. どんなもの？

- 多視点動画クリップから complementary な predictive representation を学習する2段階フレームワーク - 対象は embodied manipulation の policy 学習 - 現在の scene geometry だけでなく、interaction 下での geometry の時間発展を表現 - pretraining と downstream post-training の2段階構成 - LIBERO、LIBERO-Plus、SimplerEnv、実世界の bimanual/single-arm タスクで評価

2. 先行研究と比べてどこがすごい？

- 既存手法は現観測の geometric 情報を policy に付加するか、future prediction を auxiliary supervision として導入するかに留まる - 本研究は action 生成のために predictive geometry をどう表現すべきかを問い、complementary な2種類の表現を分離して学習 - future observation を training 時の privileged supervision としてのみ使い、inference 時には不要とする点が実用的 - WidowX 評価で 10.4 percentage points の絶対改善を報告

3. 技術・手法の肝は？

- 第1段階 pretraining: frozen 3D foundation model が密な geometric features を提供 - それを predictive geometric representation に圧縮し、scene structure と temporal evolution を保持するよう最適化 - geometric transitions に action supervision を適用し、action-relevant transitions を強調する complementary motor representation を抽出 - 第2段階 post-training: predictive geometry は geometry queries 経由で転送、motor representation は action-generation pathway の中間特徴を導く - future observation は training 時のみ privileged supervision として使用

4. どうやって有効だと検証した？

- LIBERO、LIBERO-Plus、SimplerEnv、実世界 bimanual/single-arm タスクで検証 - 下流 policy を一貫して改善し、WidowX 評価で 10.4 percentage points の絶対利得 - 複数の VLA architectures と WAMs への転送を示し、future-world prediction と action prediction の双方で改善 - コード公開予定: https://github.com/xuxiaoxxxx/CPR

5. 議論はある？

- future observation を inference 時に必要としない設計のため、実運用上の制約が小さい - 一方、pretraining に frozen 3D foundation model と多視点動画を要する点のコストや汎化性は要旨からは不明 - どの表現がどのタスク特性に効くかの詳細な分析は要旨からは不明 - 実世界タスクの規模・被験者数・失敗事例などの議論は要旨からは不明

6. 次に読むべき論文は？

- LIBERO、LIBERO-Plus、SimplerEnv の benchmark 論文 - VLA architectures および WAMs の代表的先行研究 - frozen 3D foundation model を用いた geometric representation 学習の関連研究 - future prediction を auxiliary supervision とする manipulation policy 研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xiaoxu Xu, Hao Li, Hongtao Zhang, Yili Tang, Jiafei Cao, Junhao Cai, Haoxiang Ma, Weixin Li, Weinan Zhang

分類: cs.RO

原文アブストラクト

Effective manipulation requires a policy to capture not only about the current scene geometry, but also about how that geometry will evolve under interaction. Existing approaches either augment policies with geometric information from current observations or introduce future prediction as auxiliary supervision, leaving open how predictive geometry should be represented for action generation. Therefore, we propose a two-stage framework, which learns complementary predictive representations from multi-view video clips. During pretraining, a frozen 3D foundation model provides dense geometric features that are compressed into predictive geometric representations and optimized to preserve scene structure and its temporal evolution. Action supervision is then applied to geometric transitions to extract a complementary motor representation that emphasizes action-relevant transitions. During downstream post-training, predictive geometry is transferred through geometry queries, while the motor representation guides intermediate features along the action-generation pathway. Future observations are used only as privileged supervision during training and are not required at inference time. Across LIBERO, LIBERO-Plus, SimplerEnv, and real-world bimanual and single-arm tasks, our approach consistently improves downstream policies, including an absolute gain of 10.4 percentage points on the WidowX evaluation. We further demonstrate transfer across multiple VLA architectures and WAMs, with improvements in both future-world and action prediction. The code will be available at https://github.com/xuxiaoxxxx/CPR.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI