WorldSketch、世界モデルを介したゼロショット操作手法を提案

何が起きたか

arXivに2026-10-31掲載された論文「WorldSketch: Sketching World Models for Zero-Shot Mobile Manipulation」は、VLMがロボットの動作を直接出力する代わりに、作業対象や相互作用の形状、可能な動きを含む最小限の世界モデルを構築する手法を提案した。幾何プランナーがそのモデル上で接触と全身動作を共同で最適化する。論文によると、RoboCasa、LIBERO-PRO、R2R-CEの各評価でゼロショット成功率はそれぞれ91%、97%、76%だった。

詳細

WorldSketchでは、VLMが知覚ツールを能動的に呼び出して世界モデルを作り、視覚的に妥当性を確かめる。実行結果をフィードバックとして使い、結果が予測と食い違えば不確かな仮説を更新してモデルを修正する仕組みも備える。 論文によると、RoboCasaでは次点のゼロショットエージェントを58ポイント上回り、VLM入力トークン数は10分の1だった。LIBERO-PROではCaP-Xを82ポイント上回った。R2R-CEのナビゲーションでは、逐次的にVLMを使うエージェントと同じ成功率を、入力トークン数を6分の1にして達成した。

Key Facts

本紙の見方

WorldSketchの軸は、VLMをロボットの動作生成器として扱うのではなく、動作計画に先立つ環境表現の構築役に置く点にある。論文が対比する従来の二つの使い方のうち、既定スキルを選ぶ方式はスキルライブラリーの範囲に制約され、VLMに直接動作や制御プログラムを作らせる方式は幾何や接触の推論を要する。WorldSketchは対象物の形状や可能な動きを含む最小限のモデルを先に作り、幾何プランナーに接触と全身動作を任せることで、VLMと計画器の役割を分けた。 注目点は成功率だけでなく、モデル構築後に実行結果を取り込み、予測が外れた場合に仮説を更新する閉ループを設けたことだ。これは、最初の環境理解を固定して動作を続けるのではなく、実際の結果をモデル修正につなげる設計である。一方、論文要旨の数値はベンチマーク別の結果であり、特定の実機や実環境で同じ性能が得られることを示すものとは限らない。 評価値の比較にも条件差がある。RoboCasaでは次点のゼロショット方式との比較に加え入力トークン数を示し、LIBERO-PROではCaP-Xとの成功率差、R2R-CEでは逐次的なVLM方式と同率でトークン数を抑えた結果を示す。したがって、共通の一つの指標で全方式を順位付けした結果として読むより、タスクごとに成功率とVLM利用量の両方を検証したものと捉えるのが妥当だ。トークン削減が計算費用や実行時間をどれだけ変えるかは、この要旨の情報だけでは判断できない。 業界構造への含意は、VLMの大規模な出力に頼る構成から、知覚ツール、タスク固有の幾何モデル、幾何プランナー、実行フィードバックを接続する構成へ設計の重心を移せるかにある。成立すれば、モデルが直接扱う情報をタスク関連の形状・動きに絞り、計画の一部を幾何処理に担わせる余地がある。ただし、実用性を評価するには、使用したロボットとセンサー、試行回数やばらつき、実行時間、失敗時の回復、安全性、実環境での再現性を確認する必要がある。論文要旨にはこれらの条件や、実機での運用結果は記載されていない。

なぜ重要か

WorldSketchは、VLMが動作を直接決めるのではなく、タスクに必要な幾何モデルを作り、別のプランナーが接触と全身動作を計画する構成を提示した。RoboCasaでの成功率と入力トークン数の結果は、この役割分担をベンチマーク上で評価したものだが、実機運用への適用性は要旨の情報だけでは判断できない。