日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

イベントカメラ/口唇追跡arXiv:2611.23111

イベントカメラによる発話中の口唇領域の動的推定

Event-Based Dynamic Lip Region Estimation During Speech

シェア:XThreadsFacebookLINEはてブBluesky

イベントカメラのイベント列から口唇領域の密なヒートマップを予測する二経路CT-RNNを提案し、未知話者や実センサでもCNNより高精度に口唇を追跡できることを示した。

詳しい要約

1. どんなもの?

- 発話中の口唇領域を、event camera の全 event "frame" から dense heatmap として推定する研究。 - 入力は polarity-separated voxel grid に符号化した event 列。 - 出力は lip region の空間的な ROI(landmark ではなく dense heatmap)。 - event-based lip reading 等で必要となる ROI を自動供給することを狙う。

2. 先行研究と比べてどこがすごい?

- 既存の event-based lip reading・speaker recognition・voice activity detection は、手動または dataset 依存の cropped ROI を前提としていた。 - 既存の event-based face analysis は口を landmarks として出力し、応用側が求める spatial region と不一致だった。 - 本研究は full event frame から lip region の dense heatmap を直接予測し、この不一致を埋める。 - より少ないパラメータで、CNN baseline より高い lip 精度と少ない target switch を報告。

3. 技術・手法の肝は?

- event を polarity-separated voxel grid に符号化。 - 各 bin の実経過時間に作用する learned・log-space bounded time constants を持つ two-pathway continuous-time recurrent network (CT-RNN) を全位置で適用。 - stateless fast pathway と stateful slow pathway の二経路構成。 - fast pathway が予測を refine し、slow pathway が anchor する役割分担。 - 追加の spatial encoder は precision を改善するが新 face scale で失敗すると報告。

4. どうやって有効だと検証した?

- 4 名の unseen speakers で lips 上 69.5% を達成。 - target switch は毎秒 2.1 回で、CNN baseline の 8.9・11.0 回より少ない(パラメータもより少ない設定)。 - 実 event sensor 上で、simulated events のみで学習したモデルが lips 上 58.0%(CNN は 43.2%)を達成。 - 同条件で target switch は CNN の半分未満と報告。

5. 議論はある?

- spatial encoder 追加は precision を改善するが、新 face scale への汎化に失敗する点が課題として示唆。 - simulated events のみの学習で実 sensor に転移できる程度(58.0%)と、sim-to-real gap の残存が議論点。 - target switch 削減と lip 精度のトレードオフや、two-pathway の時間定数設計の影響は要旨からは不明。 - 低照度・高 dynamic range 環境での実用性評価は要旨からは不明。

6. 次に読むべき論文は?

- 比較対象の convolutional baselines(CNN)に関する event-based lip region estimation 研究。 - event-based lip reading・speaker recognition・voice activity detection の既存研究(ROI cropping 前提のもの)。 - event-based face analysis の landmark ベース手法。 - continuous-time recurrent network (CT-RNN) および voxel grid event encoding の関連研究。 - sim-to-real 転移や event camera の低照度・高 dynamic range 応用に関する研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hamze Hammami, Omar Eldardeer, Francesco Rea

分類: cs.CV, cs.LG

原文アブストラクト

Event cameras offer high temporal resolution and low power consumption, making them promising for speech-related applications. These include automatic lip reading, audiovisual speech analysis, and human-robot interaction, particularly in challenging environments characterized by low illumination or high dynamic range. Event-based lip reading, speaker recognition, and voice activity detection, however, mostly operate on a cropped region of interest (ROI), by hand or by the dataset, and no event-based method supplies that ROI as a spatial region; existing event-based face analysis gives the mouth as landmarks, which presents a mismatch between application and localization. The present work predicts a dense heatmap over the lip region from the full event "frame". Events are encoded as a polarity-separated voxel grid and processed at every location by a two-pathway continuous-time recurrent network (CT-RNN) with learned, log-space bounded time constants acting on the real elapsed time of each bin: a stateless fast pathway and a stateful slow pathway, utilised for refining and anchoring the prediction. The model reaches 69.5% on lips on four unseen speakers and switches target only 2.1 times per second, against 8.9 and 11.0 for convolutional baselines with more parameters. Adding a spatial encoder improves precision but fails on a new face scale. On a real event sensor, trained only on simulated events, the proposed model reaches 58.0% on lips against 43.2% for the CNN, with fewer than half its target switches.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  4. 4SoftBank主導、Agile Robotsが5億ドル調達 NVIDIAと日立も参加資金調達
  5. 5パナソニックHD、「現場起点のPhysical AI」の研究開発加速を発表研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI