Jinwei Gu
収録論文 10本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- SC3-Eval: 自己整合的なビデオ生成によるロボット基盤モデルの評価評価2026/6/1
ロボット操作ポリシーの実世界評価を、アクション条件付きビデオ世界モデルを用いてスケーラブルに代替する手法を提案。前方・逆方向ダイナミクス整合性、クロスビュー整合性、テスト時整合性の3つの整合性を課すことで、正確なポリシー評価を実現する。
- Cosmos 3: 物理AIのための全モーダル世界モデルVLA2026/6/1
言語、画像、動画、音声、行動を統一的に扱う全モーダル世界モデルを提案し、理解・生成タスクでSOTAを達成した。
- DreamDojo: 大規模人間動画から学ぶ汎用ロボット世界モデル世界モデル2026/2/1
44,000時間の一人称視点人間動画から汎用的なロボット世界モデルを学習し、連続潜在行動を代理ラベルとして活用することで、巧みな操作の物理理解と精密な行動制御を実現した研究。
- Cosmos Policy: 視覚運動制御と計画のための動画モデル微調整VLA2026/1/1
大規模事前学習済み動画モデルを、アーキテクチャ変更なしの一段階の追加学習だけでロボット方策に変換し、行動・将来画像・価値を潜在フレームとして生成して計画も可能にした手法。
- Openpi Comet：2025 BEHAVIORチャレンジ競技解法マニピュレーション2025/12/1
2025 BEHAVIORチャレンジに向けた解法を提案し、事前学習と事後学習のスケーリング効果を明らかにして、検証Qスコア0.345を達成した。
- ビデオ世界モデルによるスケーラブルな方策評価世界モデル2025/11/1
行動条件付き動画生成モデルを世界モデルとして用い、ロボットマニピュレーション方策の実機評価を代替するスケーラブルな評価手法を提案した。
- 物理AIのための動画基盤モデルによる世界シミュレーション世界モデル2025/11/1
テキスト・画像・動画から世界を生成する動画基盤モデルCosmos-Predict2.5と、Sim2Real/Real2Real変換を行うCosmos-Transfer2.5を発表し、ロボティクス向けの合成データ生成やシミュレーションを可能にした。
- Cosmos-Transfer1：適応的マルチモーダル制御による条件付きワールド生成sim2real2025/3/1
セグメンテーション・深度・エッジなど複数モダリティの空間制御入力を場所ごとに重み付けして世界シミュレーションを生成するモデルを提案し、ロボティクスのSim2Realや自動運転データ拡張への応用とリアルタイム推論を実証した。
- Cosmos-Reason1：物理的常識から身体性推論へVLA2025/3/1
物理世界を理解し、長い思考連鎖を通じて自然言語で身体的行動決定を生成するマルチモーダル大規模言語モデルCosmos-Reason1を提案し、物理的常識と身体性推論のベンチマークで評価した。
- 物理AIのためのCosmos世界基盤モデルプラットフォーム世界モデル2025/1/1
物理AI開発者向けに、カスタマイズ可能な世界モデルを構築するための基盤モデル・動画キュレーション・トークナイザを提供するオープンソースプラットフォーム。