日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ワールドモデルarXiv:2611.24938

Phoenix: 汎化可能なワールドアクションモデルのためのシーン構造表現学習

Phoenix: Learning Scene Structure Representations for Generalizable World-Action Models

シェア:XThreadsFacebookLINEはてブBluesky

幾何・時空間知識の蒸留と因果的VAEでシーン構造を潜在表現として学習し、観測予測と行動生成を統合したワールドアクションモデル。単腕・双腕・巧緻操作のシミュレーションと実機で最先端性能を達成。

詳しい要約

1. どんなもの?

- Phoenix は、world-action model (WAM) のための scene structure 表現学習フレームワーク。 - 将来の観測と行動を同時に予測する WAM において、操作に必要な空間関係や物体状態変化を明示的に捉える表現を学習する。 - 構成は Phoenix Encoder、CS-VAE、そして latent と行動の joint prediction の3要素。 - 単腕・双腕・dexterous manipulation の simulation および real-robot ベンチマークを対象とする。

2. 先行研究と比べてどこがすごい?

- reconstruction 志向の視覚表現は、manipulation に必要な spatial relationships や object-state changes を明示的に重視しない、という課題設定。 - Phoenix は DINOv3 の一般視覚意味論を土台に、geometric および spatiotemporal semantic knowledge を dual-teacher distillation で強化する点が特徴。 - video-VAE-only baseline と比べ、pretraining の data scaling でより大きな性能向上が得られ、データ利用効率が高いと報告。 - 複数ベンチマークで state-of-the-art を達成し、perturbation への頑健性や cross-embodiment transfer も示す。

3. 技術・手法の肝は?

- Phoenix Encoder: DINOv3 の general visual semantics を、geometric と spatiotemporal semantic の dual-teacher distillation で拡張。 - CS-VAE: Phoenix Encoder の特徴を causally に集約・圧縮し、scene information と spatial layout を保った generative latents を生成。 - 予測部: これらの latents、補完的な appearance latents、robot actions を jointly に予測し、scene evolution と action generation を結びつける。 - 約39,000時間の egocentric および robot manipulation データで表現学習し、robot demonstration subset を WAM pretraining に使用。

4. どうやって有効だと検証した?

- simulation と real-robot のベンチマークで、単腕・双腕・dexterous manipulation にわたり評価。 - perturbation に対する頑健性を検証し、LIBERO-Plus で 94.8%、RoboTwin 2.0 C2R で 72.4% の成功率。 - cross-embodiment transfer と、Bench2Dex および RoboDojo-RealWorld での real-world manipulation 性能を報告。 - pretraining-scale 分析で video-VAE-only baseline との比較を行い、限られた downstream demonstrations での few-shot adaptation も検証。

5. 議論はある?

- pretraining data efficiency を調べるため約39,000時間のデータをキュレートしており、data scaling の利点が video-VAE-only baseline より大きいと議論。 - 限られた downstream demonstrations でも高い成功率を維持し、few-shot adaptation の強さを主張。 - 一方、dual-teacher distillation の各教師の寄与や CS-VAE の因果的集約の詳細なablation、計算コスト、失敗事例については要旨からは不明。

6. 次に読むべき論文は?

- DINOv3(Phoenix Encoder の土台となる視覚基盤モデル)。 - video-VAE-only baseline(data scaling 比較の対照手法)。 - LIBERO-Plus、RoboTwin 2.0 C2R、Bench2Dex、RoboDojo-RealWorld(評価ベンチマーク)。 - world-action model および VAE ベースの視覚表現を用いる関連 WAM 研究(具体的な論文名は要旨からは不明)。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yupeng Zheng, Chaoyue Li, Linbo Wang, Xiang Li, Yuhang Zheng, Xiaotong Su, Songen Gu, Yichen Zhang, Zebin Xing, Shuai Tian, Jingxiang Guo, Jing Li, Zhiyong Zhao, Zhongpu Xia, Qichao Zhang, Haoran Li, Shuicheng Yan, Dongbin Zhao

分類: cs.RO

原文アブストラクト

World-action models jointly predict future observations and actions, yet reconstruction-oriented visual representations do not explicitly emphasize the spatial relationships and object-state changes needed for manipulation. We introduce Phoenix, which learns representations of scene structure for world-action modeling. Specifically, Phoenix Encoder enriches DINOv3's general visual semantics through dual-teacher distillation of geometric and spatiotemporal semantic knowledge. Next, CS-VAE causally aggregates and compresses Phoenix Encoder features into generative latents while preserving scene information and spatial layout. Finally, Phoenix jointly predicts these latents, complementary appearance latents, and robot actions, linking scene evolution with action generation. To study pretraining data efficiency, we curate approximately 39,000 hours of egocentric and robot manipulation data for representation learning and use the robot demonstration subset for WAM pretraining. Following benchmark-specific post-training, Phoenix achieves state-of-the-art performance across simulation and real-robot benchmarks spanning single-arm, bimanual, and dexterous manipulation. It demonstrates strong robustness to perturbations, achieving success rates of 94.8% on LIBERO-Plus and 72.4% on RoboTwin 2.0 C2R, alongside strong cross-embodiment transfer and real-world manipulation performance on Bench2Dex and RoboDojo-RealWorld, respectively. Pretraining-scale analysis shows larger performance gains from data scaling than a video-VAE-only baseline, indicating stronger scaling benefits and more effective data utilization. Moreover, Phoenix maintains high success rates when adapted with limited downstream demonstrations, demonstrating strong few-shot adaptation. Our code, pretraining data, and models are available on the project page to help the community reproduce our results.

関連論文

  1. 1パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3日経クロステック、NVIDIA取締役会のファンCEO解任議論を報道 同社は同日、辞任を発表業界動向
  4. 4NVIDIA、ヒトの動きをロボットに適応する「SOMA Retargeter」を紹介研究・技術
  5. 5ティアフォーとTUM、Autowareでミュンヘン大型路線バスの自動運転開発を支援提携・買収

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI