日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
ナビゲーション/世界モデルarXiv:2610.25959

EmbodiedWorld-200K： embodied世界エージェントのための計画データセットとインタラクティブ世界モデル

EmbodiedWorld-200K: Toward Embodied World Agents via Embodied-Planning Dataset and Interactive World Models

シェア:XThreadsFacebookLINEはてブBluesky

多様な3Dシーンでのナビゲーション計画用に20万件超のデータセットを構築し、動画世界モデルを低コストな環境代理として強化学習を行う手法を提案した論文。

詳しい要約

1. どんなもの？

- 開放世界での embodied navigation-planning を対象に、Embodied World Agents (EWAs) という概念を掲げる研究 - 多様な scene を跨ぐ 200K 超のサンプルからなる大規模データセット EmbodiedWorld-200K を公開 - 各サンプルに低レベルな camera-motion trajectory から高レベルな semantic instruction までの multi-level annotations を付与 - 統一された評価 split とタスク別 metrics を提供し、offline pretraining と公平な評価を支援 - さらに video world model を低コストな環境 proxy として用いる interactive RL post-training の学習 scheme を提案

2. 先行研究と比べてどこがすごい？

- 既存研究の多くは単一 scene 内の特定タスクに限定され、新環境への転移が乏しいと指摘 - 開放世界設定の汎用 embodied agent (EWA) は未探索であり、その研究基盤が不足していた - 本研究は多 scene・多様なサンプルと multi-level annotations を備えた大規模データセットでこの空白を埋める - 実インタラクティブ環境の構築は高コストという課題に対し、video world model を環境 proxy に用いる低コストな RL post-training を提案 - offline 監督のみでは不十分という EWA の本質的性質に対処している点が先行研究と異なる

3. 技術・手法の肝は？

- EmbodiedWorld-200K による offline pretraining で EWA の開放世界 embodied planning 能力を獲得 - データセットは camera-motion trajectory (低レベル) から semantic instruction (高レベル) までの multi-level annotations を提供 - video world model を低コストな環境 proxy として用い、その内部で interactive reinforcement-learning (RL) post-training を実施 - 実環境構築を避けつつ、環境との相互作用を学習に取り込む training scheme が肝 - 統一評価 split とタスク別 metrics により offline 評価と比較が可能

4. どうやって有効だと検証した？

- EmbodiedWorld-200K での pretraining が EWA の開放世界 embodied planning 能力を大幅に改善することを実証 - world model 内での RL post-training が out-of-distribution scene で明確な性能向上をもたらすことを確認 - 統一された評価 split とタスク別 metrics を用いた評価を実施 - baseline checkpoints と training/evaluation code を公開し再現性を担保 - 具体的な数値や比較手法の詳細は要旨からは不明

5. 議論はある？

- offline データのみの学習は、訓練分布外 scene への汎化に不十分である点を議論 - 実インタラクティブ環境の構築が高コストであることを課題として挙げ、world model proxy の活用を動機付け - video world model を環境 proxy とする際の忠実性や限界については要旨からは不明 - EWA の定義や開放世界設定の範囲、評価の妥当性に関する詳細な議論は要旨からは不明

6. 次に読むべき論文は？

- 要旨で参照/比較されている個別研究は明示されていない - 関連手法として video world model を用いた model-based RL / world model 研究 - embodied navigation および vision-language navigation (VLN) の定番研究 - 開放世界 embodied agent や汎用 embodied planning に関する研究 - 具体的な論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: X. Feng, J. Tang, Z. Lin, L. Chen, S. Shao, Q. Lu, K. Huang

分類: cs.AI

原文アブストラクト

Building embodied agents that can perceive, reason, and act across diverse 3D worlds is a central research direction toward artificial general intelligence. Yet most existing work remains confined to specific tasks in a single scene and transfers poorly to new environments, leaving general embodied agents for open-world settings under-explored. We refer to such agents as Embodied World Agents (EWAs), whose defining property is the ability to understand diverse visual environments and execute general actions in open-world conditions. To advance EWA research, we study open-world embodied navigation-planning and release EmbodiedWorld-200K, a large-scale dataset of over 200K samples spanning diverse scenes. Each example is equipped with multi-level annotations, ranging from low-level camera-motion trajectories to high-level semantic instructions. The dataset also provides unified evaluation splits and task-specific metrics, supporting offline pretraining and fair evaluation of EWAs. Beyond offline supervision, a defining characteristic of an EWA is its interaction with the environment; training solely on offline data is therefore insufficient, especially for generalizing to scenes not covered in the training distribution. Building dedicated real interactive environments, however, is often prohibitively expensive. To address this, we propose a novel training scheme that employs a video world model as a low-cost environment proxy and performs interactive reinforcement-learning (RL) post-training of the EWA within it. Empirically, pretraining on EmbodiedWorld-200K substantially improves the open-world embodied planning ability of the EWA, and further RL post-training inside a world model yields clear gains on out-of-distribution scenes. The dataset, baseline checkpoints, and training and evaluation code are available at https://xiaokunfeng.github.io/EmbodiedWorld-200K/.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI