ロボットAIと物語生成AIは、実は同じ技術だった？ — World Model研究（OpenWAM・V-JEPA 2・DreamDojo・MIT逆逆計画・State World Models）が示すAIの未来

第1章｜オープニング：ロボットと映画には共通点がある

ロボットを開発するAI研究（機械工学・制御工学）と、映画やドラマを自動生成するAI研究（脚本・映像制作・エンターテインメント）は、一見するとまったく異なる分野に見える。しかし、「コーヒーカップを相手に差し出す」という行動をAIが生み出そうとしたとき、双方に共通して必要となる3つの情報処理が浮かび上がる^[3,6,8]。

1. 現在の世界状態の理解（Perception & State Estimation）：カップはどこにあるのか、誰が持っているのか、相手はどこにいるのか。
2. 行動の決定（Action Planning）：カップを掴むのか、相手に渡すのか、それとも渡すのをやめるのか。
3. 行動によって変化する未来の予測（Future Rollout）：その行動を選択した結果、世界の状態がどう遷移するかを予測する。

すなわち、どちらも 「現在の世界を理解し、次の行動を決め、行動によって変わる未来を予測する（PERCEPTION → WORLD MODEL → ACTION → FUTURE）」 という問題として定式化できる。一方で決定的な違いもある。ロボットがカップを落とせば現実に割れるため失敗は許されないが、映画では「わざとカップを落とす」ことが劇的な転機として物語を面白くする場合がある。

第2章｜動画を見るとは「世界を理解する」ことではない（R12）

人間は動画を見るとき、画面に映っているピクセル（観測 Observation）から、画面に映っていない背後の状態（世界状態 World State）を無意識に推論している。カメラが横にパンして机の上のコップがフレーム外へ消えても、コップ自体が消滅したとは考えない（対象の永続性）。箱の中に鍵を入れて蓋を閉じれば、見えなくても鍵は箱の中に存在し続けていると理解できる。

• 観測（Observation）：カメラ画像や音声など、センサーが各時刻に受け取る表面的な信号。
• 世界状態（World State）：物体の3次元位置、把持状態、扉の開閉・施錠、さらには物語における登場人物の記憶・秘密・感情・知識状態。

ロボットではカメラの死角に入ったカップの位置を保持できなければ再把持できず、映画生成では前カットで机に置いたカップが次カットで理由なく消えたり、主人公しか知らないはずの犯人の正体を別人物が知っているように振る舞ったりすれば、因果的一貫性が崩壊する。2026年10月の大規模サーベイ論文『Reading, Writing, Sharing, and Interacting with the World through Video』は、動画と世界の関係を「読み取り（Reading）・生成（Writing）・共有（Sharing）・相互作用（Interacting）」の4操作から統一的に整理し、「見た目の連続性」と「世界状態の因果的一貫性」を明確に区別している^[12]。

第3章｜物語を「登場人物の行動計画」として扱う研究（R11）

LLMに「主人公が恋人に裏切られ復讐を決意する物語を書いて」と直接テキスト生成させると、長編化するにつれて設定の変質、過去の出来事の忘却、動機のなき唐突な行動、因果関係の破綻が起きやすい。これに対し、物語を「文章の列」ではなく「目的（Goal）と記憶（Memory）を持つエージェントが行動（Action）する世界のシミュレーション」として扱うアプローチがある。

2023年にStanford大学らが発表した『Generative Agents: Interactive Simulacra of Human Behavior』では、25体のAIエージェントが暮らす仮想の町（Smallville）を構築し、各エージェントが経験を記憶（Memory Stream）・省察（Reflection）・行動計画（Planning）する仕組みを実装した^[11]。1人のエージェントに「バレンタインパーティーを開きたい」という目的を与えると、自律的な会話から招待が広まり、約束や人間関係が創発した。ただし「日常の人間行動をそれらしく再現できること」と「観客にとって劇的で面白い物語になること」は別問題であり、これが第6章のMITの研究へとつながる。

第4章｜2026年、物語の登場人物にロボット型の行動計画を導入（R4）

CVPR Workshops 2026（AISTORY）で発表された『What Happens Next? Memory-Driven Action Planning for Egocentric Storytelling Characters』は、主観視点（Egocentric）の物語キャラクターに記憶駆動型の行動計画を導入した研究である^[4]。

従来の脚本再生型アニメーションでは「廊下を歩く→扉を開ける→部屋に入る→机の書類を取る」という固定シーケンスの途中で扉が施錠されると、キャラクターは立ち往生する。同論文では、シーン構造と物体の アフォーダンス（Affordance：椅子＝座れる、扉＝開けられる等、環境が許容する行動可能性） を記憶として保持し、「扉が施錠されているなら別経路を探す・鍵を借りる」といった動的再計画（Character Goal + Scene Memory + Affordance → Action）を実現した。これはシミュレーション上のキャラクター研究であり実機ロボット制御そのものではないが、ロボットの障害物回避・タスク計画と構造的に同型の問題を扱っている^[4]。

第5章｜登場人物が自律的に行動すると、物語は自然発生するのか（R5）

NeurIPS 2025 Creative AI Trackで発表された『Orchestrating Emergent Storytelling with Embodied Multi-Agent Systems』は、記憶と異なる行動モデルを持つ複数の身体性AIエージェントを仮想空間に配置し、『Conflicts』と『The Game of Whispers』という2作品を通じて創発的ストーリーテリング（Emergent Storytelling）を検証した^[5]。

実験では、単なる会話だけでなく、嘘や欺瞞、協力関係の形成、誤情報の拡散、さらには物語構造自体に言及する振る舞いが観察された。マルチロボット環境で1台のロボットが物体を動かせば他ロボットの経路や利用可能物体が変わるのと同様、物語世界でも「人物Aが秘密を明かす→人物Bの知識状態が変わる→人物Bの目的と次行動が変わる」という状態遷移の連鎖が生じる。ただし、自由行動だけでは物語が散漫になりやすいため、自律性と全体演出の調停が不可欠となる^[5]。

第6章｜MITの研究：面白い物語は「観客の予測を操作する行動計画」である（R6）

「ロボットが合理的に行動すること」と「物語の登場人物が魅力的に行動すること」の違いを数理的に定式化したのが、MITらの研究者による『Storytelling as Inverse Inverse Planning』（Topics in Cognitive Science, 2024 / 2023オンライン公開）である^[6]。

• Planning（通常の計画）：目的 g から最適な行動列 a を決める（例：最短経路でゴールへ向かう）。
• Inverse Planning（逆計画）：観測された行動列 a から、その人物の目的 g をベイズ推定する（例：冷蔵庫を開けてコップに注ぐ姿から「飲み物を飲みたい」と推測する）。
• Inverse Inverse Planning（逆・逆計画）：「観客に特定の目的や関係性（例：ロボットがチーズのキャラクターを助けようとしている）を推測させたい」という演出目標から逆算して、観客のベイズ逆計画モデル P_observer(g | s, a) を最大化する行動列 a を生成する^[6]。

つまり、ロボットは現実世界の物理的目標を達成するために行動するのに対し、物語の登場人物は作中の目的を追求すると同時に「観客の認知・信念を変化させるため」に行動するという二重の目的構造を持っている^[6]。

第7章｜動画を見るだけでロボットは世界を学習できるのか（R1, R2）

一方、ロボット制御の側では「大規模な動画データから世界の時間発展（World Dynamics）を自己教師あり学習し、少量のロボット行動データで制御へ結びつける」研究が急進展している。

• V-JEPA 2（Meta, 2025）：ピクセルそのものを再構成するのではなく、抽象的な潜在表現空間（Latent Representation）で未来の特徴量を予測する。 100万時間超の動画・画像データで事前学習したのち、 62時間未満のロボット動画で行動条件付き世界モデル（V-JEPA 2-AC）へ追加学習することで、未見環境のロボットアームにおけるゼロショット把持・移動計画を実現した（※一般動画だけでロボットが何でもできるようになったわけではなく、行動と結果を結ぶ追加学習が必要）^[1]。
• DreamDojo（NVIDIAほか, ICML 2026）：4万4,000時間の人間の一人称（Egocentric）動画を用いて多様な物体・環境との相互作用を事前学習した汎用ロボット世界モデル。さらに知識蒸留（Distillation）による高速化で、 約10 FPSで1分を超えるインタラクティブ生成を実現している（※4万4,000時間は事前学習用の人間動画規模であり、全データにロボット関節行動ラベルが付与されているわけではない）^[2]。

第8章｜StanfordのOpenWAM：動画生成とロボット制御がつながった（R3）

2026年10月6日、Stanford大学の研究チームは『OpenWAM: An Open Framework for Composable World-Action Models』を発表した^[3]。OpenWAMはオープンな動画生成モデル Wan2.2-5B を出発点とし、1万時間超の動画による因果的な動画事前学習（Causal Video Pretraining）とロボット行動生成モジュールを統合している。

OpenWAMは、動画予測と行動生成の結合順序として以下の4構成を体系的に比較した：

1. Video-to-Action（VTA）：未来の動画を予測してから、ロボットの行動を決定する方式。
2. Action-to-Video（ATV）：行動を決定してから、それによって生じる未来の映像を予測する方式。
3. Joint Generation：映像と行動を同時に生成する方式。
4. Decoupled Generation：両者を分離して生成する方式。

論文内のロボット操作ベンチマーク LIBERO-Long（VTA設定） において、動画事前学習と因果的適応を導入することで成功率が 68.4% → 97.8% へ向上したと報告されている（※特定のベンチマーク・実験条件における比較結果であり、あらゆる現実のロボット作業で97.8%が達成されたという意味ではない）。また実環境の双腕ロボット作業でも検証が行われており、「もともと映像を作るためのモデルが、行動に伴う未来予測を介してロボット制御の中核になり得る」ことを実証した^[3]。

第9章｜映画生成AIも「世界をシミュレーションするAI」へ進化している（R7, R8, R10）

ロボット側が動画生成モデルを行動計画に使い始めたのと同じ2026年、長編映画・物語生成AIの側でも「プロンプトから直接動画を繋ぐ（Prompt → Video → Video）」方式の限界を超え、 「先に変化し続ける世界状態を定義・更新し、各ショットはその時点の世界状態をカメラで切り取ったレンダリング結果として生成する（World State → Event → State Update → Render）」 という研究が相次いで登場した^[7,8,10]。

• FilmWorld（2026年7月プレプリント）：小説から映画を生成する過程を「①世界構築（登場人物・場所・所持品・衣装・感情・時間帯の明示的定義）」と「②物語進行に伴う世界状態の動的更新（負傷・着替え・移動の保持）」の2段階に分離する^[8]。
• StoryEngine（2026年9月プレプリント）：「物語上の正しい世界状態（例：鍵は引き出しの中にしまった）」と「動画生成モデルが描画した視覚情報（例：動画モデルが誤って机の上に鍵を描いてしまったハルシネーション）」を峻別し、視覚エラーによって世界の真の状態が汚染されるのを防ぎつつ映像側を修正する^[7]。
• EvolvingWorld（2026年7月プレプリント）：登場人物を管理するエージェントと世界状態を管理するモデルを結合し、長期的な相互作用の一貫性を維持する^[10]。

第10章｜本当に重要なのは、動画の画質ではなく「世界のルール」（R9）

2026年10月に公開されたプレプリント『State World Models: Execute the Rules, Generate the Pixels』は、世界モデルの設計思想を端的に表すタイトルを掲げている^[9]。

たとえば、見た目がまったく同じ「魔法のオーブ」を持った人物が同じ動作で魔法を放つ場面でも、内部の隠れ状態（属性）が「赤」なら赤い炎、「青」なら青い炎が出なければならない。通常の動画生成モデルはこうした非可視のルール状態を正確に保持できない。そこでState World Modelsは、 ①現在の状態確認 → ②行動の受け取り → ③外部ルールエンジンによる状態遷移の確定（Execute the Rules） → ④確定した結果を動画生成モデルが描画（Generate the Pixels） という分離アーキテクチャを採用した。

50組の反事実ペア条件（見た目や動作はほぼ同一で内部条件のみを変更）を用いた評価において、同一のMiniMax-H3重みを用いた比較で、指定結果への追従指標 PairFollow が 32% → 92% へ向上したと報告されている（※特定ベンチマークでの追従率であり、あらゆる物理現象を92%再現できるという意味ではない）^[9]。

第11章｜ロボットと物語の「同じ部分」と「決定的に違う部分」

ここまでの研究を統合すると、両者はともに部分観測マルコフ決定過程（POMDP）としての状態遷移ループ s_{t+1} = T(s_t, a_t) を共有する一方、以下の3つの決定的な違いを持つ^[3,6,9]。

第12章｜なぜ動画生成AIは、そのままロボットの頭脳になれないのか（R14, R15）

動画生成AIがフォトリアルな映像を作れること（Photorealistic）と、物理的な因果法則を正しく理解していること（Physically / Causally Correct）の間には依然として深い溝がある。

• 『A Plausible Future Is Not a Causal Future』（2026年10月）：50種類のBlenderシーンと2,832件の反事実的条件変更を用いて動画生成モデルの因果予測能力を検証し、「見た目の自然さ（Plausible Future）」と「質量・材質・連鎖衝突を含む正しい因果連鎖の再現（Causal Future）」に大きな隔たりがあることを実証した^[15]。
• 『From Generation to Simulation: How Far Are World Models from Being True Simulators?』（2026年8月）：2018年〜2026年6月までの代表的な研究を調査し、実装を伴う163件の研究のうち、実行時に物体状態や物理パラメータを明示的に問い合わせられる仕組みを持つものはわずか6件だったと報告している^[14]。

したがって現時点では、動画生成AIをそのままロボットの低レベル制御器にするのではなく、「複数の行動候補に対する未来候補を予測する1モジュール」として利用し、実機センサー（関節角・力覚）・運動学・物理安全制約で閉ループ補正する構成が妥当である。

第13章｜もし両者のAIを共通化するなら、どんな設計になるのか【提案アーキテクチャ・未実証仮説】（R13）

以上の一次資料を踏まえ、本研究リサーチではロボット制御と物語生成を接続する提案アーキテクチャ（未実証の研究仮説）を提示する。2026年10月のサーベイ『Video Generation Meets Agent Harness』が指摘するように、動画モデル単体ではなく、その外側で記憶・状態・計画・実行・フィードバックを統合管理する「Agent Harness」が鍵となる^[13]。

• 共有層（Shared Perception & Structured World State）：人間作業動画・ロボット動画・ドラマ映像から物体・人物・姿勢・接触・イベントを抽出し、物理状態 S_phys（位置・速度・接触・アフォーダンス）と物語・認知状態 S_narrative（目的・記憶・秘密・関係グラフ）を構造化保持する。
• 分岐層（Physical Policy vs. Narrative Policy）：ロボット側は安全制約と作業成功率を評価して関節・台車指令へ変換し、物語側は登場人物の動機と観客のベイズ信念変化（Inverse-Inverse Planning）を評価してイベント・脚本・カメラ描画へ変換する。

第14章｜この仮説を科学的に検証するには（3方式比較と転移学習プロトコル）

「似ている」という比喩を超えて科学的仮説として検証するには、例えば「人間がコップを相手に手渡す動画」を入力として以下の3方式を比較する実験が必要となる：

1. 方式A（Separate Models）：ロボット制御と物語生成で完全に別々のモデルを学習。
2. 方式B（Shared Perception Only）：視覚エンコーダ（動画理解モデル）のみを共有。
3. 方式C（Shared World State & Transition）：世界状態表現と状態遷移予測器までを共有し、下流ポリシーのみを分岐。

ここで「ロボット操作動画で追加学習した表現が、物語内の人物の物体操作・アフォーダンス理解を向上させるか」「逆に、人間の意図・社会的行動を含む動画で学習した表現が、人間協働ロボットの意図推定・手渡しタイミング選択を改善するか」という双方向の転移学習（Transfer Learning）の利得を測定することが決定的な検証基準となる。

第15章｜結論：AIは「文章や動画を作る技術」から「世界を動かす技術」へ

ロボットがコップを渡す動作と、ドラマの登場人物がコップを渡す動作。ロボットにとって重要なのは「こぼさず安全に手渡せたか」であり、ドラマにとって重要なのは「なぜ渡そうとしたのか、そして相手がそれを拒絶したとき二人の関係がどう変わったか」である^[3,6,9]。

AIが次の行動と未来を考えるという点で、ロボットと物語はWorld Modelによってつながっている。しかし、どの未来が望ましいかという目的関数において両者は異なる。 この共通基盤と分岐の両方を捉えることが、AIが「文章や動画を作る技術」から「世界を理解し、未来を予測し、次の一手を選ぶ技術」へ進化する2026年以降の核心である。