シミュレーション環境生成2026/8/12arXiv:2608.11876v1

D3D-GEN: ソーシャルロボティクスのためのロボット認識・ドメイン接地型インタラクティブ3Dワールド生成

D3D-GEN: Robot-Aware Domain-Grounded Interactive 3D World Generation for Social Robotics

ドメイン知識の自動収集とRAGパイプラインを用いて、ユーザーのプロンプトから現実的でインタラクティブな3Dシミュレーション環境を生成するシステムを提案。

詳しい要約

1. どんなもの？

D3D-GENは、ソーシャルロボティクス向けに、ドメインエージェントとドメインに基づくRAGパイプラインを組み合わせた新しいワールド生成システムです。ユーザーはドメイン記述プロンプトを与えるだけで、固定の3Dモデルデータベースに依存せず、ドメイン知識の収集と現実的なフロアプラン・オブジェクト配置の合成を自動化し、完全にインタラクティブな3Dワールドを迅速に生成できます。生成されたワールドはIsaac SimやGazeboなどのシミュレータで読み込めます。

2. 先行研究と比べてどこがすごい？

既存のEmbodied AI向けシミュレーション環境は、現実性とシミュレーション可能性のバランスが取れていないことが多いのに対し、D3D-GENはドメイン知識の自動収集とRAGパイプラインにより、固定の3Dモデルデータベースに依存せず、ユーザーが指定したドメインに特化した現実的で多様な環境を生成できる点が優れています。

3. 技術・手法の肝は？

手法の核は、ドメインエージェントが公開データからドメイン知識を収集して永続的なドメインデータベースを構築し、そのデータベースを用いたRAGパイプラインが、ユーザー提供のセマンティックデータベースを動的にクエリしてフロアプランとオブジェクト配置を生成する点です。これにより、拡張や修正が容易で、固定データベースに依存しません。

4. どうやって有効だと検証した？

室内住宅、病院、オフィスなどの複数の一般的なドメインについてデータベースを構築し、各ドメインに対して数十の異なる妥当なシミュレーション環境を生成したことで有効性を検証しています。また、ローカルWebフロントエンドを提供し、迅速なインタラクティブなワールド生成を実現しています。

5. 議論はある？

要旨からは、生成環境の現実性やシミュレーション可能性の定量的評価、他の手法との比較、限界などについての議論は不明です。また、生成された環境の多様性やユーザビリティに関する詳細な評価も要旨には含まれていません。

6. 次に読むべき論文は？

要旨で参照されている関連研究は明示されていませんが、同分野の定番として、ソーシャルナビゲーションのためのシミュレーション環境生成に関する研究（例：Simulator for Social Navigation）や、RAGを用いたコンテンツ生成に関する研究（例：Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks）が挙げられます。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Anh Duc Do, Volodymyr Scherbyna, Tai Duc Nguyen, Spaarsh Thakkar, Zhengcheng Shen, Teham Buiyan, Archan Misra, Linh Kästner

分類: cs.RO, cs.HC

原文アブストラクト

Training and validation of Embodied AI for social navigation critically depends on realistic simulation environments, yet many current approaches fail to find a balance between realism and simulability. We propose D3D-GEN, a novel world generation system that combines a domain agent with a retrieval-augmented generation (RAG) pipeline grounded in that domain. Our system enables users to rapidly generate domain-grounded, fully interactive 3D worlds by automating both the collection of domain knowledge and the synthesis of realistic floorplans and object placements, without dependence on any fixed 3D model database. Given a domain description prompt, the research agent collects publicly accessible domain-specific data and constructs a persistent domain database. Using this database, our RAG pipeline generates plausible floorplans and object placements by dynamically querying a user-provided semantic database, which can be easily extended or modified. The output is a fully interactive 3D world loadable by the popular simulators Isaac Sim and Gazebo. With our approach, we have built databases for several common domains (indoor residential, hospital, office) and generated dozens of distinct, plausible simulation environments for each domain. We present D3D-GEN with a local web frontend that facilitates rapid, interactive world generation for robot simulation.

arXivで原文を読む →arXiv概要ページ

← 論文一覧