日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2611.20481

持ち上げ・見る・行動する:3D基盤モデルによる階層的ロボット方策の事前学習

Lift, See, Act: Hierarchical Robot Policy Pretraining with 3D Foundation Models

シェア:XThreadsFacebookLINEはてブBluesky

人間動画から3D基盤モデルで密な3D表現を抽出し、深度再構成と手領域の注意誘導で幾何・相互作用認識を学習する階層的ロボット方策事前学習フレームワークLSAを提案。

詳しい要約

1. どんなもの?

- 人間の動画を用いたロボットポリシーの事前学習フレームワーク「LSA」を提案。 - 3段階(Lift, See, Act)からなる階層的アプローチ。 - Lift: 2D動画を3D表現に持ち上げる。 - See: 幾何・インタラクション認識を獲得。 - Act: ロボットマニピュレーションを実行。

2. 先行研究と比べてどこがすごい?

- 従来は3D foundation models (3D FMs) で手の軌跡を抽出し、疎な軌跡のみを教師信号として利用。 - それに対し、LSAは軌跡抽出過程で得られる豊富で細粒度の情報を活用。 - 密な3D表現学習と精密な空間ガイダンスにより、従来のSOTAを大幅に上回る性能を実現。

3. 技術・手法の肝は?

- Lift: ポリシーの浅い層の特徴を複数の3D FMsの中間表現に適応的に整合させ、2D観測を密な3D表現に変換。 - See: デプスマップ再構成と手領域キューによるデュアルガイダンスで、幾何認識とインタラクション注目を強化。 - Act: 上記表現に基づきロボットマニピュレーションを実行。

4. どうやって有効だと検証した?

- 多様なシミュレーションおよび実世界タスクで実験。 - 現在のstate-of-the-art手法と比較し、LSAが有意に優れることを示した。 - 詳細な評価指標やタスク内容は要旨からは不明。

5. 議論はある?

- 要旨からは不明。 - 想定される議論点:3D FMsへの依存性、計算コスト、実世界への一般化、手領域キューが利用できない場合の性能など。

6. 次に読むべき論文は?

- 3D foundation models (3D FMs) を用いた手軌跡推定の研究(例:3D hand motion trajectory estimation)。 - 人間動画からのロボットポリシー事前学習に関する研究。 - デプスマップ再構成や手領域キューを利用した表現学習手法。 - 関連分野の定番:Vision Transformer (ViT)、CLIP、3D点群処理手法など。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yiyuan Ge, Changxing Ding, Ziyu Hao, Zijie Zheng, Xiangmin Xu

分類: cs.RO

原文アブストラクト

Robot policy pretraining based on human videos is crucial for improving the policy's generalization ability. One main challenge for this task is the lack of explicit action-relevant representations in such unlabeled data. Recent works tend to estimate 3D hand motion trajectories from videos using 3D foundation models (3D FMs). However, they keep solely the sparse trajectories as supervision, ignoring the rich, fine-grained information produced during the trajectory extraction process. To address this issue, we propose LSA, a hierarchical robot policy pretraining framework that includes three phases: Lift, See, and Act. Specifically, the Lift phase elevates 2D video observations into dense 3D representations by adaptively aligning features in the policy's shallow layers with the intermediate representations extracted from multiple 3D FMs. Building upon these lifted representations, the See phase equips the policy with explicit geometric and interactive awareness through dual guidance. It introduces depth-map reconstruction to help the model comprehend 3D spatial layouts and utilizes hand region cues to explicitly supervise the encoder's attention toward task-relevant interaction hotspots. Empowered by the dense 3D representation learning and precise spatial guidance, our policy achieves robust and accurate robotic manipulation in the Act phase. Extensive experiments on diverse simulation and real-world tasks demonstrate that LSA significantly outperforms current state-of-the-art approaches. The project page is available at: https://yiyuan00.github.io/Lift-See-Act.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2Google DeepMind、ロボット向けAIを発表新製品・発表
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  5. 5SoftBank主導、Agile Robotsが5億ドル調達 NVIDIAと日立も参加資金調達

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI