DepthWorld、ロボット操作向け3D世界モデルを発表　DROID-3Dで深度監督を導入

何が起きたか

arXivは2026年10月6日、ロボット操作向けの3D世界モデル「DepthWorld」を公開した。論文は、同じ物理ロボットで収集した複数エピソードを束ね、学習したステレオ深度とジョイント因子グラフを使って共有の運動学パラメータと各シーンの外部パラメータを復元する校正パイプラインを示した。これをDROIDデータセットに適用して、密なメトリック深度と再校正済みの多視点外部パラメータを持つDROID-3Dを構築した。

詳細

著者らによると、DROID-3Dでは外部カメラについて90%のエピソードで再投影誤差0.7 px未満を達成した。DepthWorldはStable Video Diffusionベースの世界モデルで、空間的なlatent tilingを用いて多視点RGBと深度を同時に予測し、VAEは変更しない設計である。 同論文では、深度監督によりRGB予測そのものが同一のRGBのみのベースライン比で+1.48 dB PSNR改善したとしている。あわせて、下流の幾何推論に使えるメトリック深度を得られるとしている。

Key Facts

本紙の見方

今回のポイントは、ロボット向け世界モデルを「RGBの見た目」から「3Dとして整合する表現」へ寄せた点にある。動画ベースの世界モデルは、フレーム単位では自然でも3D空間としてはつながらないことがあるが、論文はそこに深度監督と校正済み3Dデータを足し込む構成を取った。新規性はモデル名そのものより、DROID-3Dというデータ側の再構成と、Stable Video Diffusion系の事前学習を壊さずに深度を載せる設計の組み合わせにあるとみられる。 構造として見ると、入力はDROID由来の多視点動画、処理は学習したステレオ深度と因子グラフによる校正、出力はRGBと深度を両立する世界モデルである。ここで重要なのは、単に深度を予測するのではなく、同一ロボットの複数エピソードから共有運動学パラメータを復元している点だ。これはシーンごとの見かけの整合ではなく、機体側の共通構造を固定しながらデータを再利用する発想であり、ロボット操作の学習で問題になりやすいカメラ外部パラメータのずれを前提から抑えにいく設計だと読める。 業界構造への含意としては、世界モデルの競争軸が「動画生成の自然さ」だけではなく、「再投影誤差」「メトリック深度」「多視点整合」といった幾何指標に広がる点が大きい。PSNRが+1.48 dB改善したという結果は、深度を入れることがRGB予測の副作用ではなく、むしろ画像予測自体を支えることを示唆する。つまり、視覚モデル、3D校正、ロボット運動学が別々の研究領域ではなく、同一の学習パイプライン上で結合されつつある。 未確定の論点は、実機ロボットでの操作成績、対象タスクの範囲、DROID以外のデータセットへの一般化、そして推論時の計算量である。論文は評価指標として深度とPSNRを示しているが、実際の操作成功率や長期計画への効き方はこの要約だけでは判断できない。DROID-3Dの生成条件や、どの程度の追加アノテーションなしに他環境へ移植できるかも、次に確認すべき点である。

なぜ重要か

ロボット操作では、画像がきれいに見えるだけでは位置関係を安定して扱えない。著者らが示したように、DROID-3Dのような校正済み3Dデータと深度監督を組み合わせる方法は、3D幾何を必要とする学習・計画に直接関係する。Stable Video Diffusion系の事前学習を残したまま深度を足した点は、既存の動画モデルをロボット用途へ転用する際の設計条件を具体化している。