日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
VLAarXiv:2611.05062

FloMo: 人間動画からの学習におけるワールドアクションモデル中間表現としての3Dシーンフロー

FloMo: 3D Scene Flow as a World Action Model Intermediate for Learning from Human Video

シェア:XThreadsFacebookLINEはてブBluesky

動画生成モデルを3Dシーンフローとアクショントークンの予測に微調整し、人間動画とロボット操作データで共訓練することで、未見物体やタスクへの汎化を実現した研究。

詳しい要約

1. どんなもの？

- 5B の video-generation model を fine-tune し、3D scene-flow と action token を予測するモデル FloMo を提案 - 人間の action-free video と action-labeled robot teleoperation data で co-train する枠組み - video pretraining から robot action への転移において、video ではなく dense 3D motion を媒介とすることを主張 - 位置づけは world action model の中間表現としての 3D scene flow の活用

2. 先行研究と比べてどこがすごい？

- 従来は pretrained video generation model が internet-scale の motion prior を robot policy に蒸留する枠組みが主流 - 本研究は full video が action 予測には冗長な信号であると指摘 - video 予測ではなく 3D motion 予測に置き換えることで action 予測の sample-efficiency が向上すると主張 - 人間 video の pretraining を活かしつつ、未見物体・motion primitive・タスクへ汎化できる点を示す

3. 技術・手法の肝は？

- 5B の video-generation backbone を fine-tune し、3D scene-flow と action token を予測 - scene flow を RGB として render し、video と同じ latent space に encode することで pretrained backbone を効率的に適応 - action-free human video と action-labeled robot teleoperation data による co-training - motion・video・action を同時予測する構成も検討し、action token の attention 先を分析

4. どうやって有効だと検証した？

- 未見物体・motion primitive・タスクへの汎化を評価 - motion 予測を video 予測目的に置き換えると out-of-distribution 汎化が劣化することを確認 - motion に加えて video 予測目標を足すと policy success が向上せず低下することを確認 - motion・video・action 同時予測時、action token が video より motion に強く attend することを示す

5. 議論はある？

- video 予測は model capacity を浪費する可能性を attention 分析から示唆 - motion が video pretraining から action への転移を効果的に媒介すると結論 - ただし要旨からは不明な点として、実機での詳細な評価規模や scene flow 推定精度の影響は明示されていない - 5B 規模の model を用いる計算コスト面の議論は要旨からは不明

6. 次に読むべき論文は？

- pretrained video generation model を robot policy に蒸留する先行研究（video pretraining 系） - world action model に関する関連研究 - 3D scene flow 推定手法 - video と action の co-training による robot learning の研究 - 詳細は flomo-wam.github.io および参考文献を参照

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jeremy Collins, Namra Patel, Ayush Agarwal, Shitij Govil, Animesh Garg

分類: cs.CV, cs.AI

原文アブストラクト

Pretrained video generation models distill internet-scale motion priors into robot policies, but full video is a redundant signal for action prediction. We argue that dense 3D motion is the medium through which video pretraining best transfers to robot actions, and that predicting motion rather than video affords better sample-efficiency for action prediction. FloMo is a 5B video-generation model fine-tuned to predict 3D scene-flow and action tokens. Rendering scene flow as RGB and encoding it into the same latent space as video enables a pretrained video generation backbone to efficiently adapt to predict 3D scene flow. Co-trained on action-free human video and action-labeled robot teleoperation data, our model benefits from human-video pretraining and generalizes to unseen objects, motion primitives, and tasks. Replacing motion prediction with a video prediction objective degrades out-of-distribution generalization, while adding a video prediction target alongside motion lowers policy success rather than improving it. When motion, video, and action are predicted jointly, action tokens attend far more to motion than to video, suggesting that predicting video wastes model capacity. Together, these results indicate that motion effectively mediates the transfer from video pretraining to action. More information can be found at flomo-wam.github.io.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI