日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2611.24940

Z-sight: 視覚言語行動と潜在世界モデリングの統合

$Z$-sight: Unifying Vision-Language-Action and Latent World Modeling

シェア:XThreadsFacebookLINEはてブBluesky

VLMの視覚トークン空間で直接未来を予測し、行動生成と統合したロボット基盤モデル。ピクセル再構成なしで高精度・高速な制御を実現。

詳しい要約

1. どんなもの?

- ロボット基盤モデル $Z$-sight の提案 - vision-language-action (VLA) と generative latent world modeling を統合 - VLM が現在を知覚する visual token space 上で未来を直接予測 - mixture-of-transformers 構成で foresight expert と continuous action expert を VLM に結合 - 推論時に未来の spatial tokens と actions を同時に denoise

2. 先行研究と比べてどこがすごい?

- 先行研究との比較 - Video-based world action models (WAMs): 未来と行動の同時生成は有用だが video generators の高コストを継承 - 近年の latent-space policies: pixel 生成を避けるが中間特徴の align や frozen target encoders に依存し、未来予測が VLM の native feature space から切り離される - $Z$-sight は pixel reconstruction も外部 encoder も不要で、VLM の visual token space 内で予測を完結

3. 技術・手法の肝は?

- 技術の肝 - VLM の visual token space で未来の spatial tokens を直接予測 - foresight expert と continuous action expert を VLM と mixture-of-transformers で結合 - 推論時に future spatial tokens と actions を joint denoise - pixel 再構成や外部 encoder を排除 - 学習データは human video と robot trajectories

4. どうやって有効だと検証した?

- 検証方法 - SIMPLE で 81.9% 成功(最強 baseline 比 +9.6 points) - Unitree G1 の 6 タスクで平均 73.3%(+20.0 points) - 1 chunk あたり 110 ms - tabletop benchmarks でも競争力を維持 - 詳細な実験設定は要旨からは不明

5. 議論はある?

- 議論・限界 - video generators のコストを回避しつつ未来予測を維持する設計の妥当性 - latent space での予測精度と制御性能の関係 - 要旨からは不明な点 - baseline の詳細 - 失敗事例や汎化性の分析 - human video と robot trajectories の混合比率の影響

6. 次に読むべき論文は?

- 次に読むべき論文 - Video-based world action models (WAMs) 関連 - latent-space policies 関連 - vision-language-action (VLA) モデル - mixture-of-transformers 関連 - 具体的な論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Junjie Ye, Yiqi Zhao, Muchen Xu, Celina Shiyu Wang, Hao Dong, Ruohai Ge, Rong Xue, Benjamin J Kolligs, Aditya Dutt, Sasanka Nagavalli, Nassim A. Samad, Gaurav S. Sukhatme, Jyotirmoy V. Deshmukh, Yue Wang, Yuliang Guo

分類: cs.RO, cs.CV

原文アブストラクト

We introduce $Z$-sight, a unified robot foundation model that couples vision-language-action (VLA) and generative latent world modeling. Video-based world action models (WAMs) show the value of joint future-and-action generation for control, yet inherit the heavy cost of video generators. Recent latent-space policies avoid pixel generation, yet typically align intermediate features or rely on frozen target encoders, decoupling future prediction from the VLM's native feature space. $Z$-sight instead predicts the future directly in the visual token space in which its VLM perceives the present. Coupling a foresight expert and a continuous action expert with the VLM in a mixture-of-transformers, $Z$-sight jointly denoises future spatial tokens and actions at inference without pixel reconstruction or external encoders. Trained on human video and robot trajectories, $Z$-sight achieves 81.9% success on SIMPLE (+9.6 points over the strongest baseline) and 73.3% across six Unitree G1 tasks (+20.0 points) at 110 ms per chunk, while remaining competitive on tabletop benchmarks.

関連論文

  1. 1パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3日経クロステック、NVIDIA取締役会のファンCEO解任議論を報道 同社は同日、辞任を発表業界動向
  4. 4NVIDIA、ヒトの動きをロボットに適応する「SOMA Retargeter」を紹介研究・技術
  5. 5ティアフォーとTUM、Autowareでミュンヘン大型路線バスの自動運転開発を支援提携・買収

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI