VLA2026/8/31arXiv:2608.30289v1

CometVLA: 身体性データピラミッドの共学習による物理理解の獲得

CometVLA: Co-Training on an Embodied Data Pyramid towards Physical Understanding

ロボット操作タスクにおける物理常識の欠如を補うため、身体性に整合した物理VQAデータとベンチマークを構築し、VLAモデルを共学習させる手法を提案。実世界とシミュレーションで性能向上を確認した。

詳しい要約

1. どんなもの？

CometVLAは、物理的常識（physical commonsense）を必要とする操作タスクにおけるVision-Language-Action (VLA)モデルの性能向上を目指した、身体性を備えた物理的VQAコーパスとベンチマーク（CometData, CometBench）を構築し、それらを用いてVLAモデルを共学習する手法を提案した論文である。

2. 先行研究と比べてどこがすごい？

従来の物理的VQAデータは身体性がなくロボットの行動領域と整合していない点、また、エゴセントリックビデオは補助的な事前学習にしか使われていなかった点を改善し、ロボットの行動データと厳密に整合した身体性を備えたVQAデータを構築した点が優れている。さらに、VLMの物理理解の向上が実際に下流の行動生成に寄与するかを明確にした点も新しい。

3. 技術・手法の肝は？

手法の核は、タスク非依存の運動規則性を分離するコンパクトな学習可能なボトルネックであるGlobal Action Prior (GAP)トークンを導入し、事前学習済みVLMバックボーンを壊さずに物理的常識を行動ヘッドに供給することである。また、テレオペレーション、シミュレーション、エゴセントリック軌跡、VQA層からなる身体性データピラミッドを横断してVLAモデルを共学習する点も重要である。

4. どうやって有効だと検証した？

実世界の操作タスクとRoboTwinシミュレーションにおいて、強力なVLAベースラインと比較して一貫して優れた性能を示した。さらに、CometBenchでのVLM性能が高いほどVLAの成功率が高いという相関分析を行い、物理理解の事前学習が下流の操作に実際に有益であることを実証した。

5. 議論はある？

要旨からは、提案手法の限界や潜在的な欠点についての議論は不明である。また、GAPトークンの設計選択やデータピラミッドの各層の寄与度の詳細な分析も要旨には含まれていない。

6. 次に読むべき論文は？

要旨で参照されている関連研究として、VLAモデル（例：Vision-Language-Action models）、物理的VQAデータセット、エゴセントリックビデオを用いた事前学習、ロボット操作のためのシミュレーション（RoboTwin）などが挙げられる。具体的な論文名は要旨に明記されていないため、同分野の定番であるVLAモデル（例：RT-2, OpenVLA）や物理理解ベンチマーク（例：PHYRE）を参照することが推奨される。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hanwen Wan, Dafeng Chi, Linbo Zhai, Tianao Shen, Yuzheng Zhuang, Tianle Zhang, Peidong Liu, Liang Lin, Xiaoqiang Ji

分類: cs.RO

原文アブストラクト

Vision-language-action (VLA) models remain brittle in manipulation tasks that require physical commonsense. Current physical VQA data is typically disembodied and misaligned with robot action domains. Egocentric videos are used only as auxiliary pre-training. It remains unclear whether improved VLM physical understanding actually benefits downstream action generation. Therefore, we present CometVLA to close this gap. We construct CometData and CometBench, an embodied physical VQA corpus and benchmark strictly aligned with the robot's action data and embodiment. We introduce Global Action Prior (GAP) tokens, a compact learnable bottleneck that isolates task-agnostic motion regularities and lets the action head consume physical commonsense without corrupting the pre-trained VLM backbone. We co-train CometVLA across the embodied data pyramid, spanning teleoperation, simulation, egocentric trajectories, and VQA layers. On real-world manipulation tasks and RoboTwin simulation, CometVLA consistently outperforms strong VLA baselines. Correlation analysis shows that stronger VLM performance on CometBench indicates higher VLA success rates. Results demonstrate that physical understanding pre-training genuinely benefits downstream manipulation.

arXivで原文を読む →arXiv概要ページ