World Dreamer v5-lite、複数ロボットの共有世界状態から個別行動を予測

何が起きたか

2026年10月27日掲載の論文は、複数ロボットの視点を共有世界状態に統合し、ロボットごとに別の行動系列を予測するWorld Dreamer v5-liteを報告した。事前学習には、20種類のシミュレーションロボット、RoboFactory、実ロボットによる1万時間超の軌跡を用いた。評価ではRoboFactoryで平均成功率74.0%、実ロボットの4タスクで平均78.8%を達成した。

詳細

事前学習済み動画エンコーダーの特徴を較正し、作業空間座標に基づく共有状態を構成する。視点を追加しても状態の空間サイズは固定される。視覚言語モデルは場面情報とロボットごとのクエリを生成し、各クエリは共有状態を参照する。ロボット間で姿勢情報を考慮した情報交換を行う一方、行動系列はロボットごとに分ける。 協調学習では一部のカメラ視点を両方の視覚系から隠し、行動の教師信号はすべて保持する。論文によると、RoboFactoryの74.0%は評価対象中で最も強いベースラインを23.7ポイント上回り、実ロボット4タスクの78.8%は13.8ポイント上回った。RoboCasa365では全体で58.08%だった。

Key Facts

本紙の見方

この論文の技術的な焦点は、複数のカメラ映像を単に束ねるのではなく、作業空間座標に置いた共有状態を介して視点間の空間対応を扱う設計にある。多くの視覚言語行動モデルや世界行動モデルが単一ロボットを対象にしているという問題設定に対し、World Dreamer v5-liteは共有する場面表現と、ロボット別に分けた行動出力を組み合わせた。視点を追加しても状態の空間サイズを固定する仕様は、視点数を増やす場合の表現設計として重要だが、計算量や推論速度まで一定になることを示すものではない。 協調学習の仕組みもモデルの主張を支える。訓練時に一部の視点を隠しながら全ロボットの行動目標を残すことで、各ロボットが自身のカメラ情報だけでなく、他のロボットと共有される観測を利用するよう促す構成だ。したがって、複数台を同時に動かす場面で、観測の欠落を他の視点から補う設計として読める。ただし、これは論文が採用した学習方法の狙いであり、視点欠落への頑健性がどの条件でも確保されることを意味しない。 評価値は、RoboFactoryで74.0%、実ロボット4タスクで78.8%、RoboCasa365で58.08%と、環境ごとに示されている。前二者では比較対象の最強ベースラインとの差も23.7ポイント、13.8ポイントと報告された。異なる評価環境の数値を一つの性能指標として扱うことはできず、シミュレーションと実機で共有状態の設計がどの程度一貫して働くかを、タスク条件と合わせて見る必要がある。 事前学習データがシミュレーション20種類、RoboFactory、実ロボットからの1万時間超にまたがる点は、共有表現を複数のロボットに適用するための基盤として位置づけられる。一方、要旨には、実ロボットの機種数、各タスクの構成、成功率のばらつき、推論遅延、カメラの較正条件や失敗時の安全性は記されていない。導入可能性を評価するには、これらに加え、ロボット間の姿勢情報交換がどの作業で結果に寄与したか、視点数や機体構成を変えた際に性能がどう変わるかを確認する必要がある。

なぜ重要か

複数ロボットの映像を作業空間座標の共有状態にまとめつつ、行動出力は機体ごとに分ける設計により、視点の共有と個別制御を同じモデル内で扱う。論文はシミュレーションを含む事前学習と実ロボット4タスクの成績を示しており、異なるロボットの観測を協調動作に利用する方式の評価材料となる。