日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

動画生成arXiv:2611.16221

BWM-Forge: 身体性知能のためのエージェント型ワールドプログラミング

BWM-Forge: Agentic World Programming for Embodied Intelligence

シェア:XThreadsFacebookLINEはてブBluesky

コード駆動でBlenderシーンを構築し、ロボット動画を制御可能に生成するフレームワーク。複数ロボット・視点同期・外観変化に対応し、映像品質と物理整合性でベースラインを上回る。

詳しい要約

1. どんなもの?

- BWM-Forge はロボティクス向けの制御可能な動画生成フレームワーク - コード駆動型で、Blender のシーンプログラムを coding agent が構築 - 入力は初期画像、motion data 付き画像、または人間のデモ動画 - 対象は複数の robot embodiment にまたがる 15 タスク、5 種類のロボット

2. 先行研究と比べてどこがすごい?

- end-to-end の動画生成は scene geometry・robot motion・viewpoint への直接制御が限定的 - BWM-Forge は編集可能な Blender シーンプログラムを介してこれらを明示的に制御 - LingBot-World Base Cam との比較で aesthetic quality、imaging quality、subject/background consistency、motion smoothness、RoboJudge-9B の physical adherence と instruction alignment で上回る - 一方 dynamic degree は baseline が高い

3. 技術・手法の肝は?

- coding agent が objects・robot motion・cameras を指定する編集可能な Blender シーンプログラムを生成 - 生成された proxy video が構造・動きの参照となり、video generation model が視覚的詳細を付加 - multi-agent harness が入力処理、scene construction、review、rendering を統括 - 自動評価とユーザフィードバックによる反復改善、experience repository による再利用可能な modeling/rendering ルールの保存・検索 - 共有シーンプログラムから複数 embodiment、同期 viewpoint、appearance variation を実現

4. どうやって有効だと検証した?

- 5 種類のロボットにわたる 15 タスクで評価 - LingBot-World Base Cam と比較し、複数の品質指標と RoboJudge-9B スコアで優位 - 定性ケースで viewpoint control、scene variation、feedback-driven edits、experience reuse を示す - 詳細な被験者数や定量プロトコルは要旨からは不明

5. 議論はある?

- dynamic degree では baseline が上回り、動きの多様性/動的さにトレードオフの可能性 - proxy video 依存のパイプラインや Blender プログラム生成の汎化性・失敗時の挙動は要旨からは不明 - 自動評価とユーザフィードバックの具体的な重み付けや評価者構成は要旨からは不明

6. 次に読むべき論文は?

- LingBot-World Base Cam(比較対象の baseline) - RoboJudge-9B(評価に用いられた物理遵守・指示整合スコア) - Blender を用いたシーン生成/レンダリング関連手法 - coding agent / multi-agent harness によるプログラム生成の関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: BWM Team

分類: cs.RO

原文アブストラクト

Generating diverse robot videos requires control over scene geometry, robot motion, and viewpoints. End-to-end video generation offers limited direct access to these variables, making targeted edits and reuse across tasks difficult. We present BWM-Forge, a code-driven framework for controllable video generation in robotics. Given robot assets and a task description, the framework accepts an initial image, an image with motion data, or a human demonstration video. A coding agent constructs editable Blender scene programs that specify objects, robot motion, and cameras. The resulting proxy videos provide structural and motion references for a video generation model, which adds visual detail. A multi-agent harness coordinates input processing, scene construction, review, and rendering. Automated evaluation and user feedback support iterative refinement, while an experience repository stores and retrieves reusable modeling and rendering rules. This design supports multiple robot embodiments, synchronized viewpoints, and appearance variation from a shared scene program. We evaluate the framework on 15 tasks covering five robot types. Compared with LingBot-World Base Cam on these tasks, BWM-Forge achieves higher aesthetic quality, imaging quality, subject and background consistency, motion smoothness, and RoboJudge-9B physical adherence and instruction alignment scores. The baseline scores higher in dynamic degree. Qualitative cases illustrate viewpoint control, scene variation, feedback-driven edits, and experience reuse across scenes. These results demonstrate a practical approach to generating controllable robot videos through editable, executable scene representations.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2Hugging Face、ロボット学習基盤「LeRobot v0.7.0」を公開 対話操作と大規模データ学習に対応新製品・発表
  3. 3UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
PR本紙発行元 EmplifAI