一人称テニス動画における時空間知覚と予測：視覚モデルの能力評価

- 一人称視点(egocentric)のテニス動画を対象に、基盤visionモデルが時空間知覚・予測をどこまで支援できるかを調べる研究。 - 注釈付きテニスデータセットを収集し、5台の三人称(allocentric)動画・推定global位置・contact時刻・stroke種別ラベルを同期。 - 7つの予測タスク(2D ego player/3D ball位置推定、将来軌道、forehand/backhand予測、次contact時刻、contact時の3D ball位置)で評価。 - image encoder・video encoder・vision-language modelを比較し、予測headをjoint学習。 - 予測から全身kinematicテニス動作を生成するconditional diffusion modelも提案。

- 移動するegocentric cameraというロボットに自然な視点で、基盤visionモデルの時空間能力を体系的に評価する点が特徴。 - 単一タスクでなく7つの予測タスクを同一データセットで比較し、encoder種別(image/video/vision-language)の差を検証。 - 注釈付きegocentricテニスデータを、同期したallocentric動画・global位置・contact時刻・strokeラベル付きで構築。 - 予測結果をconditional diffusion modelによる全身動作生成へ接続し、real-time rateで動作を適応させる点が新しい。 - 具体的な先行研究との比較は要旨からは不明。

- egocentric動画と5台のallocentric動画を同期した注釈付きテニスデータセットを収集。 - image encoder・video encoder・vision-language modelに、joint学習する予測headを付けて7タスクを学習。 - タスクは2D ego player/3D ball位置、将来のplayer/ball軌道、stroke種別、次contact時刻、contact時3D ball位置。 - 補助的なdepth情報を入力し、3D ball位置推定への効果を検証。 - 画像履歴長を変えてball予測への影響を検証。 - vision encoder予測を条件として、conditional diffusion modelで全身kinematicテニス動作を生成。

- 注釈付きegocentricテニスデータセット上で7予測タスクを学習・評価。 - 最良モデルはcurrent-frame位置誤差0.14 m(ego player)、0.54 m(ball)。 - 1.1 s先の予測誤差0.34 m(ego player)、0.91 m(ball)、contact時刻予測誤差0.14 s。 - 補助depth情報が3D ball位置推定を大幅改善することを確認。 - 長い画像履歴はball予測を改善せず、scene context利用を示唆。 - conditional diffusion modelによる動作生成をreal-time rateで実証(定量的評価の詳細は要旨からは不明)。

- 補助depthで3D ball位置推定が大きく改善し、metric depth推論が依然課題であると示唆。 - 長い画像履歴がball予測を改善しないことから、表現がinter-frame motionだけでなくscene contextを利用する可能性を議論。 - egocentric視点の基盤visionモデルがreal-time動的ロボットを支援し得る方向性を示す。 - 限界・失敗事例・データセット規模や汎化性の詳細は要旨からは不明。

- 要旨で参照/比較されている個別研究は明示されていない。 - 関連手法としてimage encoder、video encoder、vision-language model、conditional diffusion modelを挙げる。 - 同分野の定番としてegocentric vision、trajectory forecasting、vision-language-action model、diffusion policy関連の論文を次に読む候補とする。