DynEoMT: オンラインセグメンテーションクエリから物体の動的性を学習

- 動画セグメンテーションモデルに、各セグメント領域がカメラとは独立に動くかどうかの dynamicity 属性を予測する機能を追加したオンラインフレームワーク DynEoMT を提案。 - query-based ビデオセグメンテーションを拡張し、元のセグメンテーション出力と各領域の dynamic/static 状態を同時に生成。 - 推論時は現在のフレームと伝播されたクエリのみを使用し、optical flow、depth、camera pose、過去の RGB フレーム、feature map を必要としない。

- 従来のビデオセグメンテーションモデルは物体の追跡はできても、各領域がカメラの ego-motion と独立に動くかどうかは示せなかった。 - この dynamicity 属性はセマンティクスだけから推論できず、カメラの ego-motion に混乱される問題があった。 - DynEoMT は推論時に専用の motion-processing パイプラインを必要とせず、オンラインで dynamicity を予測できる点が新しい。

- query-based ビデオセグメンテーションに領域レベルの dynamicity 予測を統合。 - 推論は現在のフレームと伝播されたクエリのみに依存し、optical flow、depth、camera pose、過去の RGB フレーム、feature map を使用しない。 - 学習には camera-compensated optical flow と confidence-aware temporal filtering を用いた class-agnostic なオフライン監督パイプラインを導入。

- VIPSeg、OVIS、YouTube-VIS 2022、VSPW の4つのデータセットで評価。 - balanced accuracy はそれぞれ 84.3、68.0、68.6、87.6 を達成。 - セグメンテーション性能をほぼ維持したまま dynamicity を予測できることを確認。

- セグメンテーション領域の dynamicity は伝播されたクエリから学習可能であり、推論時に専用の motion-processing パイプラインなしでオンライン予測できることを示唆。 - 既存のビデオセグメンテーションベンチマークにはこの属性のアノテーションがないため、新たな監督パイプラインを提案。 - 完全なコードをオープンソースとして公開予定。

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として query-based video segmentation（例：Mask2Former 系）、VIPSeg、OVIS、YouTube-VIS 2022、VSPW などのベンチマーク、camera-compensated optical flow を用いた監督手法が挙げられる。