HyperDrone:毎秒数百万フレームのシミュレーションから実機への転送
HyperDrone: Simulation-to-Reality Transfer at Millions of Frames per Second
GPUレイトレーシングで毎秒数百万フレームを描画できる超高速なクアッドロータシミュレータを開発し、シミュレーションのみで学習した視覚ベースのヨー制御方策を実機Crazyflieにオンボードで転送できることを示した。
著者: Jonas Eschmann, Giuseppe Loianno
分類: cs.RO, cs.AI, cs.LG, eess.SY
原文アブストラクト
We present HyperDrone, an extremely fast quadrotor simulator focused on high-performance batch rendering that is more than 20x faster than existing state-of-the-art batch quadrotor simulators. HyperDrone combines highly optimized multirotor dynamics with HyperLux, a new ray-tracing engine that supports Nvidia OptiX, Vulkan, Apple Metal and WebGPU backends that takes full advantage of modern ray-tracing hardware, capable of running both components entirely on the GPU. HyperLux renders RGB, depth, semantic/instance segmentation, surface normals and optical flow observations at configurable levels of fidelity, including reflections, realistic lighting, motion blur, anti-aliasing, and Physically Based Rendering (PBR). Even in the highest-fidelity settings, HyperLux achieves millions of Frames Per Second (FPS) on consumer-grade GPUs while rendering realistic 3D scenes. We demonstrate the merits of HyperDrone by training a vision-based yaw-control policy purely in simulation and transferring it to a real small-scale quadrotor (Crazyflie) with a camera, running completely onboard.
関連論文
- 物理に基づくノイズ分離と意味・幾何協調による現実的な深度学習sim2real
- 屋内物流のためのフィジカルAI:産業用移動ロボットにおけるCosmos拡張COMPASSナビゲーションのNVIDIA sim-to-realエコシステムのベンチマークsim2real
- スケーラブルなヒューマノイド学習のための高速モーションリターゲティングパイプラインsim2real
- 影の正解データ付き月面ローバー向けオープンソースシミュレータMAREsim2real
- NeoWorld-3: ピクセルからコード定義の物理世界へsim2real
- 単眼RGB動画から意味的に拡張したロボット学習データを生成するReal2Sem2Realsim2real