実世界のセンサ故障モードを再現するマルチモーダル知覚シミュレータ

- VisionSIM は、カメラに加え event、SPAD、iToF/dToF、thermal などの新興モダリティを含む異種センサスイート向けの統合シミュレーションプラットフォーム。 - 各センサの raw な物理計測過程をモデル化し、センサリアリズムを第一級の関心事として扱う。 - 同一シーン・同一軌道でのクロスモダリティ比較を可能にし、同期済み raw 計測と豊富な ground-truth 注釈を持つ大規模屋内データセットも公開する。

- 既存シミュレータはこれらのセンサを理想化し、モダリティ固有の重要な failure mode を隠してしまっていた。 - VisionSIM は汎用シミュレータが見落とす failure mode を再現する点が新しい。 - 具体的には LiDAR の pileup と glare、iToF の phase wrapping・saturation・motion artifacts、event camera の refractory drops、thermal camera の history-dependent emission を再現する。 - これにより同一シーン・軌道上での原理的なクロスモダリティ比較が可能になる。

- 多様な従来型・新興モダリティについて raw な物理計測過程をモデル化する統合プラットフォームを構築。 - 物理センサパラメータを細粒度で制御できるようにし、failure mode を再現可能にした。 - 再現対象は LiDAR の pileup/glare、iToF の phase wrapping/saturation/motion artifacts、event camera の refractory drops、thermal camera の history-dependent emission。 - 同一シーン・軌道でのクロスモダリティ比較を可能にする設計。

- プラットフォームと、同期済み raw 計測および豊富な ground-truth 注釈付きの大規模屋内データセットを公開。 - 具体的な定量評価や比較実験の詳細は要旨からは不明。

- 既存シミュレータが理想化によりモダリティ固有の failure mode を隠し、実世界展開を制限しているという問題意識を提示。 - 物理パラメータ制御により failure mode を再現し、クロスモダリティ比較を可能にする立場を取る。 - 個々の failure mode 再現の妥当性や限界に関する議論は要旨からは不明。

- 要旨で比較対象として明示された既存シミュレータの論文は挙げられていない。 - 関連手法として、event camera、SPAD、iToF/dToF、thermal camera、LiDAR の各センサモデリングに関する論文や、汎用ロボティクスシミュレータ（Gazebo、Isaac Sim 等）の文献を次に読む候補として検討。 - 具体的な論文名は要旨からは不明。