日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
VLAarXiv:2608.27609v1

PHR-VLA: 視覚言語行動モデルのための計画地平推論

PHR-VLA: Planning Horizon Reasoning for Vision-Language-Action Models

シェア:XThreadsFacebookLINEはてブBluesky

将来の観測から得た潜在ダイナミクスをVLAの内部表現に整列させる補助ヘッドを導入し、接触を伴う細かい操作タスクの成功率を向上させた。

詳しい要約

1. どんなもの?

PHR-VLAは、Vision-Language-Action Models (VLAs)に計画地平線推論を導入するフレームワーク。将来のダイナミクスの特権的潜在表現を利用し、現在の観測のみに依存する従来のVLAの限界を克服する。軽量な補助future headを訓練時に追加し、VLAの内部表現を将来の観測から抽出した潜在ダイナミクスと整合させる。

2. 先行研究と比べてどこがすごい?

従来のVLAは現在の観測に基づいて行動を予測するが、将来のタスクダイナミクスを明示的に推論するメカニズムが欠如していた。PHR-VLAは、訓練時に将来の観測から得られる特権的潜在表現を利用して内部表現を整合させることで、計画地平線の推論を可能にし、特に接触を伴う細かい操作タスクで性能を向上させる点が新しい。

3. 技術・手法の肝は?

手法の核心は、軽量な補助future headを導入し、訓練中にVLAの内部表現を将来の観測から抽出した潜在ダイナミクスと整合させること。具体的には、手首カメラからの局所的・接触中心的なパッチレベルの潜在ダイナミクス監視を用いる。これにより、モデルが将来の状態遷移を暗黙的に学習し、行動予測に活用する。

4. どうやって有効だと検証した?

LIBEROベンチマークで成功率を84.1%から88.4%に向上。実世界の分解タスクでは63.3%から82.5%に向上。Meta-Worldでは第三視点カメラからのパッチレベル監視により56.70%から57.8%に向上。これらの結果から、特権的潜在ダイナミクスの整合がVLAポリシーの予期的推論を改善することを示した。

5. 議論はある?

要旨からは、手法の限界や潜在的な欠点についての議論は不明。ただし、特権的潜在表現を訓練時にのみ使用するため、推論時には追加の計算コストがかからない点が利点と考えられる。また、手首カメラからの監視が特に効果的であることが示唆されるが、第三視点からの効果は限定的である。

6. 次に読むべき論文は?

要旨で参照されている研究は明示されていないが、関連する分野としてVision-Language-Action Models (VLAs)の基礎研究や、将来予測を用いたロボット学習の研究が挙げられる。具体的には、RT-2やOctoなどのVLAモデル、およびModel-Based RLやWorld Modelsに関する論文が関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Davood Soleymanzadeh, Kaidi Zhang, Zhiyuan Zhang, Bihao Zhang, Xiao Liang, Yu She, Minghui Zheng

分類: cs.RO, cs.AI

原文アブストラクト

Vision-language-action models (VLAs) have shown strong promise for general-purpose robotic manipulation by mapping language instructions and vision observations directly to actions. However, most VLAs primarily condition action prediction on current observations and lack an explicit mechanism for reasoning over future task dynamics, which is particularly important for fine-grained, contact-rich manipulation. We present PHR-VLA, a framework that enables planning-horizon reasoning in VLAs through privileged latent representations of future dynamics. PHR-VLA introduces a lightweight auxiliary future head that, during training, aligns the VLA's internal representations with latent dynamics extracted from future observations. Evaluation results demonstrate that local, contact-centric, patch-level latent dynamics supervision from the wrist camera improves success rate on LIBERO from 84.1% to 88.4% and on real-world disassembly tasks from 63.3% to 82.5%. Patch-level supervision from a third-person camera also improves performance on Meta-World from 56.70% to 57.8%. These results demonstrate that privileged latent dynamics alignment provides an effective training signal for improving anticipatory reasoning in VLA policies. Project website: \href{https://davoodsz.github.io/PHR-VLA.github.io/}{https://davoodsz.github.io/PHR-VLA.github.io/}

関連論文