何が起きたか
研究チームは2026年5月5日、arXivにプレプリント「JoyAI-Image: Awaking Spatial Intelligence in Unified Multimodal Understanding and Generation」を公開した。同モデルは視覚理解、テキストからの画像生成、指示による画像編集を統合したマルチモーダル基盤モデルであり、空間強化MLLMとMMDiTを結合している。
詳細
JoyAI-Imageは、空間強化されたMultimodal Large Language Model (MLLM)とMultimodal Diffusion Transformer (MMDiT)を結合し、認識と生成が共有マルチモーダルインターフェースを通じて相互作用するアーキテクチャを採用する。トレーニングには、統合命令チューニング、長文テキスト描画の教師信号、空間的に接地されたデータ、一般的および空間的編集信号を含むスケーラブルなレシピを用いる。これにより、幾何学的推論と制御可能な視覚合成を強化する。実験では、理解、生成、長文テキスト描画、編集の各ベンチマークで最先端または競争力のある性能を達成した。
Key Facts
| JoyAI-Imageは、視覚理解、テキストからの画像生成、指示による画像編集を統合したマルチモーダル基盤モデルである。 | [1] |
| 同モデルは、空間強化MLLMとMMDiTを結合し、認識と生成が共有マルチモーダルインターフェースを通じて相互作用する。 | [1] |
| トレーニングには、統合命令チューニング、長文テキスト描画の教師信号、空間的に接地されたデータ、一般的および空間的編集信号を含むスケーラブルなレシピを用いる。 | [1] |
| 実験では、理解、生成、長文テキスト描画、編集の各ベンチマークで最先端または競争力のある性能を達成した。 | [1] |
| 研究チームは、この結果が視覚言語行動システムやワールドモデルなどの下流アプリケーションへの有望な道筋を示すとしている。 | [1] |
なぜ重要か
JoyAI-Imageは、視覚理解と生成を統合するだけでなく、空間知能を強化することで、次世代のAIシステムの基盤となる可能性がある。特に、視覚言語行動システムやワールドモデルへの応用が期待され、ロボティクスや自動運転などの分野に影響を与える可能性がある。