イベントカメラ/スパイキングニューラルネットワーク2026/9/16arXiv:2609.19204

REACT: リアルタイムイベント駆動型時間知覚のための完全スパイキング状態空間モデル

REACT: A Fully Spiking State-Space Model for Real-Time Event-Driven Temporal Perception

生のイベントカメラデータを時間集約せずに逐次処理する、複素スパイキングニューロンを用いた状態空間モデルを提案し、ジェスチャー認識と衝突時間推定で低遅延・高精度を実現した。

詳しい要約

1. どんなもの？

- イベントカメラの生イベントを1つずつ処理する、完全スパイキング状態空間モデル REACT を提案。 - 時間方向の蓄積（frame化やtemporal binning）を行わず、event-driven な時間知覚を実現。 - 対象タスクは gesture recognition と time-to-collision (TTC) 推定。 - 複素値スパイキングニューロン C-SiLIF を用い、物理的な inter-event interval で連続時間ダイナミクスを駆動。 - 内部状態が個々のイベントの時間分解能で進化する点が特徴。

2. 先行研究と比べてどこがすごい？

- 多くの学習ベース手法はイベントをフレームやtemporal binに蓄積し、integration delay が生じる。 - REACT は temporal accumulation を排し、生イベントを逐次処理する。 - EvTTC で 9.59% の相対 TTC 誤差、end-to-end 推論遅延 4.6 ms を達成。 - 最良の学習手法と比べ 0.15 ポイント以内でありながら、target prior（bounding box や localization 入力）を必要としない。 - 平均接近速度で遅延が車両運動 4 cm に相当し、最速の競合学習手法の 1 m より小さい。

3. 技術・手法の肝は？

- 完全スパイキング状態空間モデル REACT を提案。 - 複素値スパイキングニューロン C-SiLIF を使用。 - C-SiLIF の連続時間ダイナミクスを物理的な inter-event interval で駆動。 - 生イベントを1つずつ処理し、temporal accumulation を行わない。 - 内部状態が個々のイベントの時間分解能で進化する。

4. どうやって有効だと検証した？

- gesture recognition と time-to-collision (TTC) 推定で評価。 - full-field event streams を使用し、target bounding box や localization 入力なし。 - EvTTC で 9.59% の相対 TTC 誤差、4.6 ms の end-to-end 推論遅延を達成。 - anytime TTC prediction、異なる driving sequence への zero-shot transfer、INT8 quantization をサポート。 - INT8 quantization により 32,768 イベントあたりの推定エネルギー消費が 18.5 から 2.8 mJ に減少。

5. 議論はある？

- 結果は、event-driven spiking state-space dynamics が低遅延で連続更新される時間知覚を反応的ロボティクスに提供できることを示す。 - 具体的な限界や失敗事例、議論の詳細は要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として event camera を用いた gesture recognition、time-to-collision (TTC) 推定、spiking neural network (SNN)、state-space model の定番研究が挙げられる。 - データセットとして EvTTC が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Geoffroy Keime, Nicolas Cuperlier, Benoit R. Cottereau

分類: cs.RO, cs.AI

原文アブストラクト

Robotic systems operating in dynamic environments require visual perception that evolves continuously with the incoming sensory stream. Event cameras provide microsecond temporal resolution and asynchronous sensing, but most learning-based methods accumulate events into frames or temporal bins, introducing an integration delay that can limit fast reaction. Here we propose REACT, a fully spiking state-space model for event-driven temporal perception that processes raw events one by one, without temporal accumulation. REACT uses a complex-valued spiking neuron, C-SiLIF, whose continuous-time dynamics are driven by the physical inter-event interval, allowing its internal state to evolve at the temporal resolution of individual events. We evaluate REACT on gesture recognition and time-to-collision (TTC) estimation from full-field event streams, without a target bounding box or localization input. On EvTTC, REACT achieves a 9.59% relative TTC error with 4.6 ms end-to-end inference latency, within 0.15 percentage points of the best learned method while requiring no target prior. At the dataset's mean approach speed, this latency corresponds to only 4 cm of vehicle motion, compared with 1 m for the fastest competing learned method. REACT further supports anytime TTC prediction, zero-shot transfer to a different driving sequence, and INT8 quantization, reducing the estimated energy consumption from 18.5 to 2.8 mJ per 32,768 events. These results show that event-driven spiking state-space dynamics can provide low-latency, continuously updated temporal perception for reactive robotic systems.

arXivで原文を読む →arXiv概要ページ

← 論文一覧