NVIDIA Cosmos-H-Dreams: 手術ロボットのためのリアルタイム生成物理シミュレーション

Cosmos-H-Dreamsは、外科手術ロボティクスのためのリアルタイム生成物理シミュレーションシステムである。action-conditioned generative model、teacher-to-student distillation、NVIDIA FlashDreams streaming-inference libraryに基づくデプロイスタックを統合し、単一のNVIDIA RTX PRO 6000 Blackwell workstation GPU上で約160 FPSの推論速度で動作する。任意のロボットキネマティクスストリームを入力として受け付けるcontroller-agnosticな設計で、ブラウザキーボード、Meta Questヘッドセット、CMR SurgicalのVersiusなどの商用サージカルロボットコンソール、学習済みポリシーによる閉ループ制御をライブでサポートする。外科手術教育、スケーラブルな合成データ生成、将来の術中意思決定支援のための共通基盤としてオープンソース公開される。

従来の外科手術シミュレーションは、動物や死体を用いた物理実験が時間・コスト・再現性に課題があり、古典的シミュレータは写実的な外観と変形可能組織のダイナミクスを捉えるのが困難だった。また、既存の生成シミュレーションはリアルタイムインタラクションを欠いていた。Cosmos-H-Dreamsは、リアルタイムで人間とポリシーの両方が操作可能な最初のインタラクティブな外科手術ワールドモデルであり、このギャップを埋める点が革新的である。

手法の核は、大規模なOpen-H-Embodimentコーパスでファインチューニングされたmulti-embodiment action-conditioned surgical video world model（Cosmos-H-Surgical-Simulator）を出発点とし、embodimentおよびprocedure固有のデータでpost-trainする点。その後、双方向のteacherをSelf Forcingを用いてcausalなfew-step studentに蒸留することで、受動的なビデオ生成器を制御可能な外科手術シミュレータに変換する。デプロイにはNVIDIA FlashDreams streaming-inference libraryを使用し、リアルタイム推論を実現する。

有効性の検証は、単一のNVIDIA RTX PRO 6000 Blackwell workstation GPU上で約160 FPSの推論速度を達成したこと、およびブラウザキーボード（WebRTC）、Meta Questヘッドセット（WebXR）、商用サージカルロボットコンソール（CMR SurgicalのVersius）、学習済みポリシーによる閉ループ制御という複数のインターフェースでのライブ制御を実演したことにより行われた。

要旨からは、議論や限界についての詳細は不明である。ただし、リアルタイム性と制御可能性を両立させた点が強調されており、今後の課題として、より複雑な組織ダイナミクスの再現や、臨床応用に向けた安全性の検証などが考えられるが、要旨には明記されていない。

要旨で参照されている関連研究として、Cosmos-H-Surgical-Simulator（ベースとなったワールドモデル）、Open-H-Embodiment corpus（データセット）、Self Forcing（蒸留手法）、NVIDIA FlashDreams（ストリーミング推論ライブラリ）が挙げられる。また、同分野の定番として、外科手術シミュレーションにおける古典的シミュレータや、生成モデルを用いたシミュレーション研究が関連する。