イベントカメラ/行動認識2026/10/9arXiv:2610.13856

マルチフレーム表現の事前学習によるイベントベース行動認識

Event-based Action Recognition by Pre-Training on Multi-Frame Representations

イベントカメラの長く複雑な行動系列を認識するため、マルチフレーム表現とマスク付きオートエンコーダによるVision Transformerの事前学習手法を提案し、THU-EACT-50 CHLとDailyDVS-200で最高性能を達成した。

詳しい要約

1. どんなもの？

- イベントカメラを用いた行動認識タスクを対象とした研究。 - 長く複雑なイベントシーケンスに対して、単一フレーム表現より優れた multi-frame representation を導入。 - Masked auto-encoding フレームワークで Vision Transformer を事前学習。 - 下流タスクの性能向上と計算複雑性の制御を目的とする。

2. 先行研究と比べてどこがすごい？

- 従来の frame-based event representation は短いイベントシーケンスでは有効だが、長く複雑なシーケンスでは識別能力が急激に低下する問題があった。 - 提案する multi-frame representation は単一フレーム版と比べて認識性能を大幅に改善。 - さらに、sparsity-aware masking algorithm と token selection mechanism を採用し、下流性能の向上と計算複雑性の制御を両立。 - 位置認識注意機構を備えた複数の mask token をデコーダに導入し、性能をさらに向上。

3. 技術・手法の肝は？

- multi-frame representation を採用し、イベントシーケンスを複数フレームで表現。 - masked auto-encoding フレームワークで Vision Transformer を事前学習。 - sparsity-aware masking algorithm と token selection mechanism により、下流性能を高めつつ計算複雑性を制御。 - デコーダに複数の mask token を導入し、position-aware attention mechanism を適用。

4. どうやって有効だと検証した？

- 挑戦的な長期間・複雑なイベントシーケンスに対して提案手法が印象的な性能を示すことを確認。 - THU-EACT-50 CHL および DailyDVS-200 において state-of-the-art 性能を達成。

5. 議論はある？

- 要旨からは不明。

6. 次に読むべき論文は？

- THU-EACT-50 CHL および DailyDVS-200 の関連研究。 - イベントベース行動認識における masked auto-encoding や Vision Transformer を用いた手法。 - 同分野の定番として event-based action recognition のサーベイ論文。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Emma Norrby, Tomas Wilkinson, Per Nyblom, David Gustafsson

分類: cs.CV

原文アブストラクト

Action recognition is a crucial task in domains like robotics, patient monitoring, or surveillance. Recently, event-based action recognition has attracted much attention due to the event camera's ability to capture fast motions and its improved privacy over conventional vision cameras. While frame-based event representations work well for short event sequences, their discriminative ability declines sharply with longer and more complex event sequences. In this work, we introduce a multi-frame representation that greatly improves recognition performance over its single-frame counterpart. We adopt a masked auto-encoding framework to pre-train a Vision Transformer using a sparsity-aware masking algorithm and token selection mechanism to improve downstream performance and control computational complexity. We also introduce multiple mask tokens for the decoder with a position-aware attention mechanism, leading to further improved performance. Our proposed method shows impressive performance for challenging long-duration and complex event sequences, yielding state-of-the-art performance on THU-EACT-50 CHL and DailyDVS-200.

arXivで原文を読む →arXiv概要ページ

← 論文一覧