シミュレーション2026/8/9arXiv:2608.08522v2

EsaacSim: NVIDIA Isaac Sim用マルチモーダルイベントカメラアドオン

EsaacSim: A Multimodal Event Camera Add-on for NVIDIA Isaac Sim

NVIDIA Isaac Sim上でイベントカメラをオンラインシミュレーションできるアドオンを開発し、グレースケールとBayer RGGBのイベント生成、RGB・APS・イベント・深度・IMUの同期出力をROS2インターフェースで提供する。

詳しい要約

1. どんなもの？

EsaacSimは、NVIDIA Isaac Sim用のマルチモーダルイベントカメラアドオンであり、グレースケールおよびBayer RGGBイベント生成を備えた設定可能なイベントカメラのオンラインシミュレーションを可能にする。同期したRGB、APS、イベント、深度、IMU出力をネイティブのROS2インターフェースを通じて提供し、複数のイベントカメラ解像度をサポートする。モーションガイド付きフレームギャップ合成戦略により、Isaac Simレンダリングパイプラインとの互換性を保ちながら実効時間解像度を向上させる。

2. 先行研究と比べてどこがすごい？

先行研究と比較して、EsaacSimは既存のイベントカメラシミュレータがロボティクスプラットフォーム（特にNVIDIA Isaac Sim）と統合されていない、またはオンラインシミュレーションをサポートしていないという限界に対処している。マルチモーダル出力（RGB、APS、イベント、深度、IMU）をROS2インターフェースで同期提供する点、およびモーションガイド付きフレームギャップ合成による時間解像度向上が独自性である。

3. 技術・手法の肝は？

技術の肝は、Isaac Simのレンダリングパイプラインに統合されたイベント生成モジュールと、モーションガイド付きフレームギャップ合成戦略である。これにより、フレーム間の動きを利用してイベントの時間的密度を高め、実効イベントレートを240〜960Hzに向上させる。また、グレースケールとBayer RGGBの両方のイベント生成をサポートし、ROS2インターフェースを介して同期出力を実現している。

4. どうやって有効だと検証した？

実験では、代表的なロボットシーンでの同期マルチモーダルシミュレーションを実証し、5つのイベントカメラ解像度でオンライン性能を評価した。イベントストリーム生成はグレースケールで6.98〜27.28ms、Bayer RGGBで7.58〜29.16msかかり、NVIDIA RTX 4060 GPU上で追加GPUメモリは400MB未満であることを示した。

5. 議論はある？

要旨からは、シミュレーションの忠実度や実センサーとの比較、他のシミュレータとの定量的比較、限界（例えば、特定のシーンでの精度）については不明である。また、早期バージョンの公開であり、今後の改善点が議論される可能性がある。

6. 次に読むべき論文は？

要旨で参照されている関連研究は明示されていないが、同分野の定番として、イベントカメラシミュレーションの既存手法（例えば、ESIMやVideo2Events）や、NVIDIA Isaac Simのロボティクスシミュレーションに関する論文が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ignacio Bugueno-Cordova, Malte Kuhlmann, Nicolás Navarro-Guerrero, Miguel Campusano, Rodrigo Verschae

分類: cs.RO

原文アブストラクト

Event-based vision is becoming an increasingly important sensing paradigm for robotics, yet its adoption remains limited by sensor availability and the lack of integrated simulation tools for modern robotics platforms. This paper presents EsaacSim, a multimodal event camera add-on for NVIDIA Isaac Sim that enables online simulation of configurable event cameras with grayscale and Bayer RGGB event generation. The framework supports multiple event camera resolutions and provides synchronized RGB, APS, event, depth, and IMU outputs through native ROS2 interfaces. A motion-guided frame-gap synthesis strategy further increases the effective temporal resolution while preserving compatibility with the Isaac Sim rendering pipeline. Experimental evaluation demonstrates synchronized multimodal simulation across representative robotic scenes and efficient online performance over five event camera resolutions at effective event rates from 240 to 960Hz. Event stream generation requires 6.98--27.28ms for grayscale events and 7.58--29.16ms for Bayer RGGB events while using less than 400MB of additional GPU memory on an NVIDIA RTX~4060 GPU. These results show that EsaacSim enables supports online multimodal event-camera simulation for robotics research and synthetic data generation. We release an early version of the simulator and report its current architecture and performance.

arXivで原文を読む →arXiv概要ページ

← 論文一覧