日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
生成モデルarXiv:2610.41260

SketchDirector: エージェント的レイアウト推論と詳細精錬による複雑シーン素描

SketchDirector: Complex Scene Sketching via Agentic Layout Reasoning and Detail Refinement

シェア:XThreadsFacebookLINEはてブBluesky

LLMでシーンを複数のベジェ曲線アセットに分解し、エージェント的推論ループで配置を計画、拡散事前分布で詳細を精錬するテキスト誘導の複雑シーン素描フレームワークを提案。

詳しい要約

1. どんなもの?

- テキストから複数概念の複雑なシーンスケッチを自動生成するエージェント型フレームワーク SketchDirector の提案。 - 人間のスケッチ作業を模倣し、LLM によるシーン分解、エージェント的推論ループによる配置計画、詳細精錬の3段階で構成。 - 各下書きアセットは Bézier 曲線の集合として表現され、編集可能なベクター形式で扱う。 - 研究促進のため MCSketch8K データセット(編集可能なベクターアセット、構図レイアウト、オブジェクト操作アノテーション)も導入。

2. 先行研究と比べてどこがすごい?

- 既存のスケッチ生成は画像ガイダンスに依存し、単一オブジェクトや簡略化されたシーンに限定されがち。 - テキスト誘導による複雑シーンのスケッチ生成は未開拓だった点を対象化。 - SketchDirector はシーンレベルのテキストプロンプトからマルチコンセプトのシーンを生成可能。 - 実験で semantic および compositional 品質において state-of-the-art ベースラインを上回り、精錬時も全体の contour 構成を保持。

3. 技術・手法の肝は?

- LLM がシーンレベルのテキストプロンプトを複数の下書きアセットに分解し、各アセットを Bézier 曲線集合で表現。 - agentic reasoning loop が自己進化する memory に導かれながら空間配置を反復的に計画・実行。 - detail refinement module が diffusion priors を活用し、幾何構造を保ちつつスケッチ品質を向上。 - 出力は編集可能なベクター資産と構図レイアウトを含む。

4. どうやって有効だと検証した?

- 広範な実験を実施し、semantic および compositional 品質で state-of-the-art ベースラインと比較。 - 精錬段階で全体の contour 構成を効果的に保持できることも検証。 - 具体的な評価指標・データセット規模・被験者実験の有無は要旨からは不明。

5. 議論はある?

- 詳細精錬において diffusion priors を用いつつ幾何構造を保持する点が議論の焦点。 - 自己進化する memory に基づく配置計画の汎化性や限界は要旨からは不明。 - MCSketch8K の規模・多様性・アノテーション品質に関する議論は要旨からは不明。 - 失敗事例や計算コスト、LLM 依存性についての考察は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている state-of-the-art のスケッチ生成ベースライン(具体的名称は要旨からは不明)。 - diffusion priors を用いたスケッチ生成・精錬に関する研究(例: diffusion model 系の sketch generation)。 - LLM を用いたシーン分解やレイアウト生成に関する研究(例: LLM-based layout generation)。 - ベクタースケッチ生成・Bézier 曲線表現に関する研究。 - MCSketch8K データセットを利用したマルチコンセプトシーン生成の関連研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yiqi Liang, Xiaodong Cun

分類: cs.CV

原文アブストラクト

Existing sketch generation methods often rely on image guidance and are largely limited to individual objects or simplified scenes, leaving text-guided complex scene sketching underexplored. We present SketchDirector, an agentic framework that mimics the human sketching workflow for automatic multi-concept scene sketching. Given a scene-level text prompt, SketchDirector first employs a large language model~(LLM) to decompose the scene into multiple draft assets, where each is represented by a set of Bézier curves. Then, an agentic reasoning loop iteratively plans and executes their spatial arrangement, guided by self-evolving memory. Finally, a detail refinement module leverages diffusion priors to enhance sketch quality while preserving geometric structure. To support future research and applications in multi-concept scene sketch generation, we further introduce the \textit{MCSketch8K} dataset, comprising editable vector assets, compositional layouts, and object-level manipulation annotations. Extensive experiments show that SketchDirector outperforms state-of-the-art baselines in semantic and compositional quality while effectively preserving overall contour organization during refinement. The project page is: \href{https://yiki77.github.io/SketchDirector/}{https://yiki77.github.io/SketchDirector/}.

関連論文

PR本紙発行元 EmplifAI