確率的事象としてのクォンタ知覚

本論文は、単一光子を検出するQuantaセンサの出力を、実時間でロボット知覚に利用するための新しい計算プリミティブ「probabilistic events」を提案する。従来のフレーム再構成ではなく、光子検出ストリームから直接、ベイズ推定により再帰的信念状態を計算し、動き適応型シーン輝度、高忠実度アクティビティマップ、エントロピーに基づく知覚不確実性という3つの低遅延信号を生成する。これにより、極低照度や高速運動などの過酷な環境下での知覚を可能にする。

従来のQuantaセンサ処理は、光子を固定露光で蓄積してフレームを再構成するため、感度・ダイナミックレンジ・時間分解能のトレードオフがあり、光子が少ない環境や高速運動で劣化する。また、既存のevent cameraは固定閾値トリガを用いるが、本手法は再帰的ベイズ定式化により、より情報量の多い低遅延信号を生成する。さらに、フレーム再構成を介さず直接確率推論を行うことで、従来の再構成ベースラインより最大4桁高速なkilohertzスケールの出力を実現し、実時間処理を可能にする点が革新的である。

手法の核は、光子検出を確率的事象としてモデル化し、最後の強度変化からの経過時間の事後分布を計算することである。この事後分布を再帰的信念状態として表現することで、光子ストリームを効率的に処理する。具体的には、ベイズ更新により、動き適応型のシーン輝度、アクティビティマップ、エントロピーに基づく不確実性を低遅延で算出する。これにより、固定閾値のevent cameraトリガを置き換え、光子ストリームを直接確率推論する。

有効性は、極低照度（約0.05 lux）での走行中の人物の姿勢推定タスクで検証された。この際、既存の視覚モデルを再学習することなく、提案表現を用いて推定を実現した。また、毎秒50,000フレームを超えるQuantaフレームレートの入力ストリームを、市販のGPUハードウェア上で処理し、メガピクセルアレイでも従来のQuanta再構成ベースラインより最大4桁高速なkilohertzスケールの出力を達成したことを示した。

要旨からは、提案手法の限界やトレードオフについての議論は不明である。ただし、フレーム再構成を置き換えることで、従来の再構成ベースの下流タスクとの互換性や、極低照度以外の環境での性能、計算資源の要求などが議論の対象となり得る。また、エントロピーに基づく不確実性の解釈や、他のロボット知覚タスクへの応用可能性も議論の余地がある。

要旨で参照されている関連研究として、Quantaセンサの再構成ベースラインや、event cameraの固定閾値トリガ方式が挙げられる。具体的な論文名は不明だが、Quanta image sensorsの再構成手法や、event-based visionの基礎研究（例：Dynamic Vision Sensor）が関連する。また、確率的事象表現の類似手法として、Bayesian filteringやparticle filterを用いた光子ストリーム処理も関連する。