日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
VLAarXiv:2610.37381

物理ダイナミクス表現を備えた視覚-言語-行動モデルPDRVLA

PDRVLA: A Vision-Language-Action Model with Physical Dynamics Representations

シェア:XThreadsFacebookLINEはてブBluesky

動画生成を介さずに視覚-言語特徴から物理トークンを抽出し、将来のRGB・深度・オプティカルフロー予測で学習する軽量モジュールをVLAに組み込み、複数のシミュレーションで高い成功率を達成した。

詳しい要約

1. どんなもの？

- Vision-Language-Action (VLA) モデルの一種で、視覚観測と言語指示からロボット行動を生成する - 物理ダイナミクスの理解を強化するため、軽量な Physical Dynamics Module を組み込む - オンラインでの動画生成を行わずに、vision-language 特徴から physical tokens を抽出し行動生成を条件付ける - 公開データのみで学習し、human-to-robot synthesis、subtask annotation、embodied chain-of-thought (ECoT) annotation で拡張

2. 先行研究と比べてどこがすごい？

- 従来の VLA は物理ダイナミクス理解が限定的という課題がある - video world model はシーン動力学を捉えられるが、将来動画生成が制御ループに高い遅延を生む - PDRVLA はオンライン動画生成なしで physical tokens を介してダイナミクスを活用する点が異なる - 学習は公開データのみに依存し、合成・注釈で拡張する点も特徴

3. 技術・手法の肝は？

- 軽量な Physical Dynamics Module が vision-language 特徴から physical tokens を抽出 - 将来の RGB、depth、optical-flow 特徴を直接予測して学習 - 凍結した pretrained video world model による補助 supervision を利用 - 学習データは human-to-robot synthesis、subtask annotation、ECoT annotation で拡張 - 行動生成は physical tokens で条件付け

4. どうやって有効だと検証した？

- 4つの simulation benchmark で評価 - 成功率は LIBERO 99.3%、LIBERO-Plus 89.9%、RoboTwin 2.0 93.6%、SimplerEnv 81.5% - ablation で world-model supervision による将来予測改善を確認 - subtask conditioning、future object-pose supervision、ECoT training が行動成功率に与える影響を評価

5. 議論はある？

- world-model supervision が将来予測を改善することを ablation で示す - subtask conditioning、future object-pose supervision、ECoT training の行動成功率への影響を議論 - オンライン動画生成を避ける設計の利点が示唆されるが、詳細な議論は要旨からは不明 - 実機での検証や計算コストの詳細は要旨からは不明

6. 次に読むべき論文は？

- video world model 関連の研究（将来動画生成を用いる手法） - 従来の Vision-Language-Action (VLA) モデル - LIBERO、LIBERO-Plus、RoboTwin 2.0、SimplerEnv の各 benchmark 論文 - embodied chain-of-thought (ECoT) 関連研究 - human-to-robot synthesis や subtask annotation を用いるデータ拡張研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hanqing Wang, Zhaotian Cai, Ruichuan An, Bohan Zeng, Tao Zhang, Yilin Chen, Xu Jiang, Kaiquan Chen, Chongyang Wu, Haoran Li, Fan Yang, Mingan Lin, Wentao Zhang, Zenan Zhou, Youzheng Wu

分類: cs.RO, cs.CV, cs.LG

原文アブストラクト

Vision--Language--Action (VLA) models generate robot actions from visual observations and language instructions, but their understanding of physical dynamics remains limited. Video world models can capture scene dynamics, yet generating future videos introduces high latency into the control loop. We introduce PDRVLA, whose lightweight Physical Dynamics Module extracts physical tokens from vision--language features to condition action generation without online video generation. The module learns through direct prediction of future RGB, depth, and optical-flow features, with auxiliary supervision through a frozen pretrained video world model. Training relies entirely on publicly available data, expanded through human-to-robot synthesis, subtask annotation, and embodied chain-of-thought (ECoT) annotation. Across four simulation benchmarks, PDRVLA achieves success rates of 99.3% on LIBERO, 89.9% on LIBERO-Plus, 93.6% on RoboTwin~2.0, and 81.5% on SimplerEnv. Ablations show improved future prediction with world-model supervision and evaluate how subtask conditioning, future object-pose supervision, and ECoT training affect action success.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI