異種イベント-RGBステレオシステムのための簡略化されたクロスモーダルキャリブレーション

本論文は、イベントカメラとフレームベースカメラからなる異種ステレオシステムのための、簡素化されたクロスモーダルキャリブレーション手法を提案する。従来手法がセンサやターゲットの運動、精密な同期、高コストなイベント画像再構成を必要とするのに対し、本手法は動きを必要とせず、市販のディスプレイに表示した時間変調・ブレンドされたChArUcoターゲットを用いる。ターゲットは元パターンと部分的にブレンドされたパターンを交互に表示することで、フレームカメラには常時観測可能なままイベントを確実に発生させ、ブランクフレームを回避し、同期は粗いトリガベースのアライメントに緩和する。イベントをRGB画像と粗く整列したフレームに離散化し、軽量なノイズ除去を施した後、ChArUcoベースの内部・外部キャリブレーションを実行する。

先行研究と比較して、本手法は以下の点で優れている。(1) センサやターゲットの運動が不要であり、キャリブレーション手順が大幅に簡素化される。(2) 精密な同期を必要とせず、粗いトリガベースのアライメントで十分である。(3) イベントから画像への再構成を必要としないため、計算コストが低い。(4) ブレンドされたChArUcoターゲットにより、フレームカメラは常にパターンを観測でき、ブランクフレームが発生しない。実験では、最強の運動ベース手法(E2Calib + Kalibr)と非運動ベース手法(Plasberg et al.)と比較し、平均再投影誤差をそれぞれ44%と6%削減した。

手法の核心は、時間変調されたブレンドChArUcoターゲットを用いる点である。ターゲットは元のChArUcoパターンと、部分的にブレンドされたバージョンを交互に表示する。これにより、イベントカメラはパターンの変化をエッジとして検出し、フレームカメラは常にパターンを観測できる。イベントはRGB画像と粗く時間整列したフレームに蓄積され、軽量なノイズ除去を施す。その後、標準的なChArUco検出を用いて、各カメラの内部パラメータとステレオ外部パラメータを推定する。同期はトリガ信号による粗いアライメントで十分であり、精密なハードウェア同期を必要としない。

有効性は、広範な実験により検証された。ブレンド不透明度、ディスプレイ輝度、外部照明、視角、ハンドヘルド取得などの様々な条件下でロバスト性を評価した。比較対象として、運動ベースのE2Calib + Kalibrと非運動ベースのPlasberg et al.を用い、平均再投影誤差をそれぞれ44%と6%削減した。さらに、ロボットのeye-to-handキャリブレーションのケーススタディを実施し、部分的なオクルージョン下でも一貫した変換と安定した下流の幾何学的測定を実証した。

議論として、本手法は運動を必要としないため、キャリブレーション手順が簡素化されるが、ターゲットの表示に市販のディスプレイを使用するため、ディスプレイのリフレッシュレートや輝度の制約が考えられる。また、イベントの時間的粗いアライメントに依存するため、高速な動きや動的なシーンでは精度が低下する可能性がある。さらに、実験は特定の条件下で行われており、異なる環境やハードウェアでの一般化については要旨からは不明である。

次に読むべき論文としては、要旨で比較されているE2CalibとKalibrに関する論文、およびPlasberg et al.の研究が挙げられる。また、イベントカメラとフレームカメラのキャリブレーションに関する他の関連研究として、イベントベースの特徴追跡や時空間キャリブレーション手法も参考になる。