何が起きたか
NVIDIAは、物理AI向けのオープンオムニモデル「Cosmos 3」を発表した。従来のCosmosシリーズでは、世界生成（Cosmos Predict）、制御生成（Cosmos Transfer）、シーン理解（Cosmos Reason）、ポリシー生成（Cosmos Policy）など、機能ごとに別々のモデルが必要だったが、Cosmos 3はMixture-of-Transformers（MoT）アーキテクチャに基づくオムニモデルとして、これらを単一のモデルで実現する。テキスト、画像、動画、音声、アクションなど複数のモダリティを処理し、物理的に妥当なビデオ世界の生成、運動・因果・空間関係などの物理特性の推論、現在の状態に基づく将来のビデオとアクションシーケンスの予測が可能。Hugging Face上でCosmos 3 SuperとCosmos 3 Nanoのモデルカードとライセンスが提供され、Diffusers統合、GitHub上のポストトレーニングスクリプト、物理AI向けのオープン合成データ生成（SDG）データセットも公開される。
Key Facts
| NVIDIAは物理AI向けオープンオムニモデル「Cosmos 3」を発表した。 | [0] |
| Cosmos 3はMixture-of-Transformers（MoT）アーキテクチャに基づく。 | [0] |
| 従来は世界生成、制御生成、シーン理解、ポリシー生成に別々のモデルが必要だったが、Cosmos 3は単一モデルでこれらを実現する。 | [0] |
| Cosmos 3はテキスト、画像、動画、音声、アクションなど複数のモダリティを処理する。 | [0] |
| Cosmos 3は物理的に妥当なビデオ世界の生成、物理特性の推論、将来のビデオとアクションシーケンスの予測が可能。 | [0] |
| Hugging Face上でCosmos 3 SuperとCosmos 3 Nanoのモデルカードとライセンスが提供される。 | [0] |
| Cosmos 3 Diffusers統合、GitHub上のポストトレーニングスクリプト、オープン合成データ生成（SDG）データセットも公開される。 | [0] |
なぜ重要か
物理AIの開発では、ロボット工学、自動運転車、スマートスペースなどで現実世界の理解とシミュレーションが重要となる。Cosmos 3は単一モデルで複数の機能を統合することで、開発の効率化と基盤モデルの提供を目指す。NVIDIAは、ロボットの洗濯物たたみ、自動運転シミュレーション、倉庫安全シナリオの合成データ生成などのユースケースに適しているとしている。