日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

4D表現学習arXiv:2611.25500

PRIO: 4D世界におけるインタラクティブ物体のための事前学習表現

PRIO: Pre-trained Representation for Interactive Objects in 4D Worlds

シェア:XThreadsFacebookLINEはてブBluesky

静的な3D形状から物体固有の配置空間を1回の順伝播で予測し、ラグランジュ力学に基づくリアルタイムな変形・運動を可能にする事前学習表現を提案。メッシュ・点群・3Dガウシアンに対応し、ロボット操作やreal-to-simに応用。

詳しい要約

1. どんなもの?

- PRIOは、静的な3D物体に物体固有のconfiguration spaceを付与するpre-trained representation。 - 単一のforward passで、Lagrangian mechanicsのgeneralized coordinatesとして使えるconfiguration spaceを予測する。 - これにより物理法則やユーザー行動に従って物体が動く・変形するinteractive 4D world modelsを実現する。 - mesh、point cloud、3D Gaussianに対応し、reconstructed/generated scenesの物体をinteraction可能にする。 - real-to-simワークフローやrobot manipulationへの応用を示す。

2. 先行研究と比べてどこがすごい?

- 既存の3D worldはcapture・reconstruction・generationが大規模化しても物体が静止したままで、押しても沈まず扉も開かない。 - 既存の4D generation手法と比較して、PRIOはdynamicsをより高速に生成し、ユーザー行動により忠実に従う。 - 物体ごとのconfiguration spaceを事前学習し未知形状へ汎化する点が、従来の物体固定的な扱いと異なる。 - 詳細な比較対象や定量差は要旨からは不明。

3. 技術・手法の肝は?

- 静的なgeometryを入力に、物体固有のconfiguration spaceをsingle forward passで予測する。 - この空間はLagrangian mechanicsのgeneralized coordinatesを与え、物理法則とユーザー行動がmotionを支配できる。 - configurationsはこれらの座標に対してlinearであり、dynamicsに必要な量をprecomputeできる。 - そのためdynamicsは追加のnetwork inferenceなしでinteractive rateで動作する。 - 多様な4D trajectoriesでpre-trainし、物体configurationに関するpriorを学習して未知形状へ汎化する。

4. どうやって有効だと検証した?

- real-to-simワークフローとrobot manipulationへの応用を示すことで有効性を実証。 - 既存の4D generation手法との比較で、dynamics生成の高速性とユーザー行動への忠実性を示す。 - mesh、point cloud、3D Gaussianといった複数表現への対応を示す。 - 具体的なデータセット名・評価指標・定量結果は要旨からは不明。

5. 議論はある?

- 物体が静止したままの既存3D worldの限界を、interactive 4D world modelsへ拡張する動機を提示。 - pre-trained priorにより未知形状へ汎化できると主張するが、汎化限界や失敗ケースの議論は要旨からは不明。 - interactive rateでのdynamics実行とnetwork inference不要化が計算上の利点として挙げられる。 - real-to-simやrobot manipulationでの実用性に触れるが、限界や制約の詳細は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で直接参照/比較されている既存の4D generation手法(個別名は要旨からは不明)。 - Lagrangian mechanicsに基づく物理ベースのdynamics手法。 - 3D Gaussian Splattingやpoint cloud、meshを用いたreconstruction/generation研究。 - real-to-simやrobot manipulation向けのinteractive scene representation研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Shixun Huang, Lifu Wei, Yue Chang, Chen Geng, Heng Zhang, Jinhyung Ahn, Caoliwen Wang, Siyuan Chen, Donglai Xiang, Jiajun Wu, Peter Yichen Chen

分類: cs.CV

原文アブストラクト

3D worlds can now be captured, reconstructed, and generated at scale, yet the objects in them stay still: a pressed pillow does not compress, and a pulled door does not swing. Bringing these objects into interactive 4D world models requires a representation of how they can move, deform, and respond physically to user actions in real time. We present PRIO, a pre-trained representation for interactive objects. Given static geometry, PRIO predicts an object-specific configuration space in a single forward pass. This space provides generalized coordinates for Lagrangian mechanics, allowing physical laws and user actions to govern motion. Configurations are linear in these coordinates, allowing the quantities needed by the dynamics to be precomputed. Dynamics then run at interactive rates without further network inference. Pre-trained on diverse 4D trajectories, PRIO learns priors over object configurations that generalize to unseen shapes. It supports meshes, point clouds, and 3D Gaussians, bringing objects in reconstructed and generated scenes into interaction. We demonstrate its use in real-to-sim workflows and robot manipulation. In addition, compared with existing 4D generation methods, PRIO generates dynamics faster and follows user actions more faithfully.

  1. 1パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  2. 2川崎重工業のロボット外販を報道新製品・発表
  3. 3Boston Dynamics、GlobalFoundriesでAtlasを試験へ 半導体製造で2027年初頭から半導体・GPU
  4. 4丸文、RealManのロボットアームやヒューマノイドを国内販売提携・買収
  5. 5NVIDIA、SC26で科学研究向けAIエージェントとHPC基盤を発表新製品・発表

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI