VLA2026/10/30arXiv:2610.42021

Nexus-VLA: 共有階層的意味潜在空間による人間とロボットの経験の橋渡し

Nexus-VLA: Bridging Human and Robot Experiences via a Shared Hierarchical Semantic Latent Space

人間の動画とロボットの操作経験を階層的な意味空間で共有し、エンドツーエンドの共同学習で人間の操作知識をロボット方策に直接活かすVLAフレームワークを提案。

詳しい要約

1. どんなもの？

- 大規模egocentric human videoの操作経験をロボットpolicy学習に活用するハイブリッドpolicy学習フレームワークNexus-VLAを提案 - 外見・kinematic構造・action spaceのembodiment gapを越え、human-robot joint trainingをend-to-endで行う - 階層的cross-embodiment semantic alignmentでtask intentからfine-grained interactionまでの共有操作semanticsを構築 - 共有manipulation latent representationを連続action生成に直接用い、policy学習効率とhuman知識活用を両立

2. 先行研究と比べてどこがすごい？

- 既存手法はcross-embodiment knowledge alignmentとrobot policy learningを切り離し、human操作知識がrobot action学習へ直接・十分に寄与しにくい - Nexus-VLAはend-to-endのhuman-robot joint trainingによりhuman manipulation experienceをrobot policy学習へ直接貢献させる点が異なる - 階層的semantic alignmentでhuman video内の操作知識をより完全に利用 - 共有latent representationをaction生成に直結させ、学習効率とhuman data活用の優位性を示す

3. 技術・手法の肝は？

- 階層的cross-embodiment semantic alignment paradigmを導入し、task intentからfine-grained interactionへ段階的に共有manipulation semanticsを確立 - この階層に基づきmulti-level shared knowledgeをjointly encodeするshared manipulation latent representationを設計 - 同表現を連続action生成に直接用いる内部表現としpolicy学習効率を改善 - human-robot joint trainingをend-to-endで行うhybrid policy learning frameworkとして統合

4. どうやって有効だと検証した？

- RoboCasa-GR1、OOD settings、real-world robot experimentsで評価 - RoboCasa-GR1で80.5%のtask success rateを達成 - human-data utilization、learning efficiency、cross-scenario generalizationにおける優位性を示す - 具体的なbaseline比較やreal-world実験の詳細は要旨からは不明

5. 議論はある？

- embodiment gap（visual appearance、kinematic structure、action spaces）への対処が中心的課題として議論 - cross-embodiment alignmentとpolicy learningの分離がhuman知識移転を妨げる点を問題視 - 階層的semantic alignmentとshared latent representationの有効性を主張 - 限界や失敗事例、計算コスト、real-worldでの詳細な議論は要旨からは不明

6. 次に読むべき論文は？

- 要旨で参照/比較されている既存のcross-embodiment knowledge alignment手法やhuman video活用型robot policy learning研究 - egocentric human videoを用いたmanipulation学習（例：Ego4D系データセット活用研究） - RoboCasa-GR1ベンチマークおよびOOD generalization評価に関する研究 - Vision-Language-Action（VLA）モデル全般の関連論文

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Biaoliang Guan, Tingyu Yuan, Wen Ye, Ziming Ji, Xu Yang, Yan Huang, Jihua Zhu, Chaoyang Zhao

分類: cs.RO

原文アブストラクト

Large-scale egocentric human videos provide rich and scalable manipulation experience for robot policy learning, yet substantial embodiment gaps in visual appearance, kinematic structure, and action spaces hinder effective knowledge transfer. Existing methods often decouple cross-embodiment knowledge alignment from robot policy learning, making it difficult for human manipulation knowledge to directly and fully contribute to robot action learning. To address this issue, we propose Nexus-VLA, a hybrid policy learning framework that enables cross-embodiment knowledge transfer through end-to-end human-robot joint training, allowing human manipulation experience to directly contribute to robot policy learning. We first introduce a hierarchical cross-embodiment semantic alignment paradigm that progressively establishes shared manipulation semantics from task intent to fine-grained interactions, enabling more complete use of the manipulation knowledge contained in human videos. Building on this hierarchy, we design a shared manipulation latent representation that jointly encodes multi-level shared knowledge into an internal representation directly used for continuous action generation, improving policy learning efficiency while effectively leveraging human knowledge. Across RoboCasa-GR1, OOD settings, and real-world robot experiments, Nexus-VLA achieves an 80.5% task success rate on RoboCasa-GR1 and demonstrates strong advantages in human-data utilization, learning efficiency, and cross-scenario generalization.

arXivで原文を読む →arXiv概要ページ