VLA2026/9/11arXiv:2609.12316

DATAFARM: 事前学習分布に整合させたタスク・動作計画によるVLAモデルのファインチューニング

DATAFARM: Distribution-Aligned Task and Motion Planning for Fine-Tuning Vision-Language-Action Models

TAMPが生成する軌道をVLAの事前学習データの分布(関節配置・動作スタイル・時間的プロファイル)に合わせることで、生のTAMP軌道ではほぼ効果がなかったファインチューニングを大幅に改善した手法。

詳しい要約

1. どんなもの？

- ロボット基盤モデル向けの高品質データ収集は困難。 - Task and motion planning (TAMP) はデモ生成をスケールさせる手段。 - しかし生の TAMP 軌道は pretrained vision-language-action (VLA) の fine-tuning にほとんど効かない。 - 原因を planner 生成軌道と VLA の pretraining データ間の behavioral distribution mismatch と仮説。 - DATAFARM は pretraining 分布を TAMP 軌道生成に組み込み、分布を整合させる手法。

2. 先行研究と比べてどこがすごい？

- 従来の TAMP はタスクを解ける軌道を生成するが、VLA fine-tuning には有効でなかった。 - 生の TAMP は成功率 8.3% にとどまる。 - DATAFARM は平均成功率 56.7% を達成し、生 TAMP を大幅に上回る。 - 人間の teleoperation (61.7%) に迫る性能。 - 分布外の Deformable Object Manipulation でも fine-tuned model が 85% を保持 (pretrained は 90%)。

3. 技術・手法の肝は？

- pretraining 分布を TAMP 軌道生成に直接組み込む。 - 生成軌道を robot joint configurations、motion style、temporal execution profiles で pretraining データに整合。 - これにより planner 生成デモと VLA の pretraining 分布の不一致を低減。 - 詳細なアルゴリズムは要旨からは不明。

4. どうやって有効だと検証した？

- TAMP が実行可能な 3 つの tabletop manipulation tasks で評価。 - TAMP の能力を超える cloth-folding task でも評価。 - DATAFARM は平均成功率 56.7%、生 TAMP は 8.3%、人間 teleoperation は 61.7%。 - Deformable Object Manipulation では fine-tuned model が 85%、pretrained model が 90% を保持。

5. 議論はある？

- planner 生成軌道と pretraining データの behavioral distribution mismatch が fine-tuning 失敗の原因と仮説。 - 分布整合により TAMP が VLA fine-tuning の有効なデータ源になり得ると示唆。 - 分布外タスクでの性能低下 (85% vs 90%) が議論点。 - 他のタスクや VLA への一般性は要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究: raw TAMP、human teleoperation、pretrained VLA。 - 関連手法: Task and Motion Planning (TAMP)、Vision-Language-Action (VLA) models、fine-tuning、Deformable Object Manipulation。 - 具体的な論文名は要旨に無いため、同分野の定番として TAMP や VLA の基盤研究を挙げる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Samrat Sahoo, Yixuan Huang, Tom Silver

分類: cs.RO

原文アブストラクト

Collecting high-quality robot data remains a fundamental challenge for training robot foundation models. Task and motion planning (TAMP) offers a scalable way to generate demonstrations, but our experiments show that raw TAMP trajectories provide surprisingly little benefit when used to fine-tune pretrained vision-language-action (VLA) models, despite successfully solving the target tasks. We hypothesize that this failure arises from a behavioral distribution mismatch between planner-generated trajectories and the data used to pretrain the VLA. To address this mismatch, we introduce DATAFARM: Distribution-Aligned Task And motion planning for Fine-tuning A Robot foundation Model, an approach that incorporates the pretraining distribution directly into TAMP trajectory generation. DATAFARM aligns generated trajectories with the pretraining data in robot joint configurations, motion style, and temporal execution profiles. We evaluate DATAFARM on three tabletop manipulation tasks that TAMP can perform and a cloth-folding task beyond the capability of TAMP. DATAFARM achieves an average success rate of 56.7%, substantially outperforming raw TAMP (8.3%) while approaching human teleoperation (61.7%). On Deformable Object Manipulation, which is outside the fine-tuning distribution, the fine-tuned model retains 85% success, compared with 90% for the pretrained model. These results show that aligning planner-generated demonstrations with the pretraining distribution can make TAMP an effective source of data for VLA fine-tuning. Website and code: https://prpl-group.com/datafarm/

arXivで原文を読む →arXiv概要ページ