TAPVid-MV: 複数視点にわたる3次元任意点追跡のベンチマーク

TAPVid-MVは、複数の同期されたカメラビューにわたる長期的な3Dポイントトラッキングのための最初のベンチマークである。284シーケンス、1,142の較正済みカメラストリーム、109,769のポイントトラックを含み、屋内・屋外、ロボティクス、人間活動、運転、合成プロシージャルシーンなど7つのサブセットをカバーする。トラジェクトリは、センサ深度、LiDAR、SLAM、SfMポイント、人間メッシュ、物体メッシュ、シミュレーションなどの補助モダリティを用いて取得され、すべてのシーケンスとトラジェクトリは人間のアノテータによって視覚的に検証されている。

既存のポイントトラッキングベンチマークは単一ビデオまたは静的マルチカメラリグに焦点を当てており、カメラモーション下での複数ビューの長期的3Dポイントトラッキングをテストするものはなかった。TAPVid-MVはこの設定を対象とした最初のベンチマークであり、マルチビュー3Dポイントトラッキングの評価を可能にする点で新しい。

ベンチマークの構築方法として、データセット固有の補助モダリティ（センサ深度、LiDAR、SLAM、SfM、人間メッシュ、物体メッシュ、シミュレーション）を用いて3Dトラジェクトリを取得し、それを複数ビューに投影して2Dトラックを生成する。すべてのシーケンスとトラジェクトリは人間のアノテータによる視覚的検証を経ている。また、再構成とポイントトラッキングを同じデータセットで評価することで、ジオメトリ回復の誤りとポイント対応の誤りを区別する分析手法を提供する。

30以上のベースライン手法を評価し、既存のマルチビューポイントトラッカーがモノキュラーポイントトラッカーを一貫して上回らないことを示した。さらに、再構成とポイントトラッキングの共同分析により、ジオメトリ回復が正確な3Dポイントトラッキングの主要なボトルネックであることを特定した。

要旨からは、ベンチマークが難しいタスクであること、既存手法が未解決であること、ジオメトリ回復がボトルネックであることが示唆されるが、具体的な議論や限界については不明。

要旨で参照されている関連研究として、既存のポイントトラッキングベンチマーク（例：TAP-Vid）や、マルチビュー3D再構成、モノキュラーポイントトラッカー、マルチビューポイントトラッカーに関する論文が挙げられる。具体的な論文名は要旨に明記されていないため、同分野の定番であるTAP-Vidや、多視点幾何学、SLAM関連の論文を読むことが推奨される。