何が起きたか
arXivに2026年11月18日掲載の論文は、視覚・言語・行動(VLA)と潜在世界モデルを統合するロボット基盤モデル「Z-sight」を提案した。論文要旨によると、SIMPLEで成功率81.9%となり、最も強いベースラインを9.6ポイント上回った。Unitree G1の6タスクでは成功率73.3%で、ベースラインとの差は20.0ポイントだった。
詳細
Z-sightは、VLMが現在を認識する視覚トークン空間で未来を予測する。VLMに「foresight expert」と連続動作を扱う「continuous action expert」を混合トランスフォーマー構成で結び、推論時に未来の空間トークンと動作を共同でデノイズする。画素画像の再構成や外部エンコーダーは使わないと論文要旨は説明している。 学習には人間の動画とロボットの軌跡を用いた。推論速度は1チャンク当たり110ミリ秒と報告された。卓上ベンチマークでも競争力を保ったとしているが、要旨に成功率などの具体値は記載されていない。
Key Facts
| Z-sightはVLAと生成型の潜在世界モデリングを結合するロボット基盤モデルとして提案された。 | [1] |
| SIMPLEでの成功率は81.9%で、最も強いベースラインを9.6ポイント上回った。 | [1] |
| Unitree G1の6タスクで成功率73.3%を記録し、ベースラインとの差は20.0ポイントだった。 | [1] |
| 推論時に未来の空間トークンと動作を共同でデノイズし、画素画像の再構成と外部エンコーダーを使わない。 | [1] |
| 人間の動画とロボットの軌跡で学習し、推論速度は1チャンク当たり110ミリ秒と報告された。 | [1] |
本紙の見方
Z-sightの技術的な焦点は、未来を予測する機能を追加したことだけではない。論文要旨によれば、VLMが現在を表す視覚トークンと同じ空間で未来の状態を予測し、動作も一緒に生成する。これにより、従来の動画ベース世界行動モデルが持つ画素生成の負荷や、一部の潜在空間ポリシーで使われる特徴整合・固定ターゲットエンコーダーへの依存を避ける設計だと位置づけられる。ただし、計算量やメモリー使用量の比較値は要旨に示されておらず、負荷低減の程度までは判断できない。 構成上は、VLM、未来予測を担う「foresight expert」、連続動作を担う「continuous action expert」を混合トランスフォーマーで結び、推論時に未来の空間トークンと動作を共同でデノイズする。別々の予測表現を後段で接続するのでなく、視覚的な未来予測と動作生成を同じ推論過程に置いた点がモデル設計の特徴とみられる。一方、各エキスパートの規模や学習時の損失設計、入力・出力の具体的な形式は要旨からは分からず、設計の再現性や計算条件を評価するには論文本文の確認が必要だ。 評価結果は、SIMPLEで81.9%、Unitree G1の6タスクで73.3%であり、それぞれのベースラインとの差も報告された。これは特定のベンチマークとタスク群での比較であり、実環境の多様な作業全般に同じ差が及ぶことを示すものではない。特にG1の結果は6タスクに限られ、タスクごとの成績や試行条件はこの要旨だけでは照合できない。卓上ベンチマークについても「競争力を保った」とする記述にとどまり、数値比較はない。 学習データに人間の動画とロボットの軌跡を併用した点は、異なる種類のデータを同一モデルの学習に組み込む設計を示す。ただし、データ量や人間動画からロボット動作への転移の寄与、未知の環境・タスクでの汎化、安全性は明らかでない。今後の評価では、110ミリ秒という1チャンク当たりの処理時間の計測条件、実機での継続動作時の成功率、タスク別の失敗傾向を確認する必要がある。
なぜ重要か
Z-sightは、未来の視覚表現と動作を同時に生成する設計を採り、画素再構成や外部エンコーダーを使わないと論文要旨で説明している。SIMPLEとUnitree G1の6タスクで報告された成功率は、この設計を特定のベンチマーク条件下で比較する手がかりになるが、実環境での汎用性や処理コストの優位性までは示していない。
