4Dシーン生成2026/10/29arXiv:2610.40754

DyCraft: 長期的な4Dシーン生成のためのエージェントシステム

DyCraft: An Agentic System for Long-Horizon 4D Scene Generation

アニメーション制作をキーポーズの3Dストーリーボードに分解し、コーディングエージェントが局所的な動きを検証しながら生成することで、物理的に整合した長期的4Dシーンを実現するシステム。

詳しい要約

1. どんなもの？

- 長期的な4Dシーン生成のためのagentic system「DyCraft」 - 3Dシーンとarticulated assetsの生成は可能だが、coherentなlong-horizon animationの生成が困難という問題に対処 - 人間のanimatorのpracticeに着想を得て、animation生成を段階的に分解 - 対象はhumanoid robots、human/animal characters、physical mechanismsを含むmulti-shot animation

2. 先行研究と比べてどこがすごい？

- 先行研究との比較 - frontier coding agentsは高品質な3D sceneやarticulated assetsを生成できるが、long-horizon animationでは物理的に不整合な出力を頻発 - 一般的なharnessを備えたagentはinterpenetration、物理的supportの欠如、不自然な動きを生じ、one-passで全体をscriptingするため検証・修復が困難 - DyCraftはnative GPT-6 agent in Codexやprior agentic baselinesと比較してphysical violationsを大幅に削減し、human ratersに好まれる高品質なanimated 3D scenesを生成

3. 技術・手法の肝は？

- 手法の肝 - まずuser promptを詳細なplanに展開し、static sceneを構築 - 次にkey animation posesの3D storyboardを作成。各frameはagentがisolatedに構築・debugできるstatic 3D scene - storyboardingにより問題をverified start/end statesのペアに分解し、motion authoring toolsの集合でその間のlocal motionをauthoring - これにより複雑なspatiotemporal constraintsを切り分け可能に

4. どうやって有効だと検証した？

- 検証方法 - 24のlong-horizon, multi-shot animation tasksで評価 - humanoid robots、human/animal characters、physical mechanismsをカバー - native GPT-6 agent in Codexおよびprior agentic baselinesと比較 - physical violationsの削減と、human ratersによる選好で有効性を確認

5. 議論はある？

- 議論 - bare agentsがone-pass scriptingに陥り検証・修復が難しい点を、storyboardingによる分解で緩和 - physical violationsの削減とhuman preferenceの向上を報告 - 具体的な限界や失敗ケース、計算コスト等の詳細は要旨からは不明

6. 次に読むべき論文は？

- 次に読むべき論文 - native GPT-6 agent in Codex（比較対象のfrontier coding agent） - prior agentic baselines（具体的名称は要旨からは不明） - 3D scene generationおよびarticulated asset generationの先行研究 - long-horizon animation生成やphysical plausibility評価に関する研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jeff Tan, Hang Dai, Zeqian Long, Yanzhe Lyu, R. Kenny Jones, Shangzhe Wu, Chen Geng, Jiajun Wu

分類: cs.CV

原文アブストラクト

While frontier coding agents can generate high-quality 3D scenes and articulated assets, they struggle to create coherent long-horizon animations. When equipped with general-purpose harnesses, they frequently produce physically implausible outputs, generating objects that interpenetrate, lack physical support, or move unnaturally. Such bare agents struggle to repair these errors because they default to scripting the full animation in one pass, making it difficult to verify their work and disentangle complex spatiotemporal constraints. Drawing on the practice of human animators, we introduce DyCraft, a system for animated 3D scene generation that breaks animation into steps that coding agents can more reliably solve. DyCraft first expands the user's prompt into a detailed plan and builds a static scene. It then creates a 3D storyboard of key animation poses, where each frame is a static 3D scene that the agent can build and debug in isolation. Storyboarding decomposes the problem into pairs of verified start and end states, allowing the agent to author local motion between them with a collection of motion authoring tools. We evaluate DyCraft on 24 long-horizon, multi-shot animation tasks covering humanoid robots, human and animal characters, and physical mechanisms. Compared with a native GPT-6 agent in Codex and prior agentic baselines, DyCraft substantially reduces physical violations and generates higher-quality animated 3D scenes that are more often preferred by human raters.

arXivで原文を読む →arXiv概要ページ

← 論文一覧