arXiv論文「LaLa-World」、自然言語で指示する潜在世界モデルを提案

何が起きたか

arXivに2026-10-20付で掲載された論文「LaLa-World: Scaling Latent World Models with Natural Language Actions」は、自然言語で数値行動と視覚変化を表現しながら学習する潜在世界モデルを提案した。対象はシミュレーションとロボット軌跡に加え、より広い画像・動画データである。著者らは、既存のドメイン別・タスク別の潜在世界モデルより平均MPC計画性能が高く、同等比較では訓練コストを6分の1、計画速度を13.9倍にできたとしている。

詳細

論文は、1つ目の設計として数値行動と視覚変化の両方を言語で記述し、異種データセットをまたいで単一の将来予測器を学習する点を挙げる。2つ目の設計として、予測器を言語モデル上に構築し、言語条件を解釈しながら潜在状態の未来を予測できるようにしたとしている。 また、事前学習したLaLa-Worldを初期値としてLaLa-Policyを構築し、行動と将来の視覚表現を同時に予測させた。著者らは、LaLa-PolicyがLIBEROとRoboCasaでCosmos Policyと競争力のある性能を示し、推論は最大5.5倍速いとしている。

Key Facts

本紙の見方

今回の論点は、潜在世界モデルを「自然言語で条件づける」ことで、シミュレーション由来の軌跡と画像・動画の広いデータを同一の予測器に載せた点にある。単なる新しいモデル名の提示ではなく、行動表現と視覚変化の表現を言語に寄せたことで、異種データを横断する学習の入り口をそろえたことが新しい。一方で、目的自体は従来の世界モデルと同じく、想像上の未来予測を使って計画する枠組みの延長である。 本紙の観点では、ここで重要なのは「データの追加」そのものより、入力形式の統一が計算効率と頑健性にどう効いたかである。論文は、画像・動画データを足すと平均計画性能がさらに改善し、行動の言い回しに対する頑健性も上がるとしている。これは、ロボット軌跡だけでは覆い切れない状況変化を、より一般的な視覚データで補う構造と読める。言い換えれば、実機軌跡、シミュレーション、一般映像の三層を言語で束ねる設計である。 ただし、LaLa-PolicyがLIBEROとRoboCasaでCosmos Policyに比肩し、推論が最大5.5倍速いという結果は、事前学習済み世界モデルを下流方策の初期化に使う流れが実用的な比較対象になり始めたことを示す。ここで未確定の論点は、どのデータ比率が性能に効いたのか、MPCの条件設定、ロボット実機での汎化範囲、学習に使った画像・動画データの具体的な構成である。論文が示した速度差が、他のタスクや別の計算環境でも保たれるかも確認が必要だ。

なぜ重要か

この論文は、ロボット軌跡だけでなく画像・動画も取り込む世界モデルが、訓練コスト6分の1と計画速度13.9倍を両立しうると著者らが示した点に意味がある。実機データの収集負担をどこまで一般映像で補えるかが、研究開発の設計に関わる。

日本への影響

日本のロボット研究や実機学習では、シミュレーションと実機軌跡に加えて画像・動画をどう組み合わせるかが論点になるとみられる。LIBEROとRoboCasaでの比較が示すように、方策の初期化に使える世界モデルの計算効率が上がれば、限られた実機データをどう配分するかがより重要になる。