局所的な動画理解は遭遇をまたいで転移するか？EgoGearsベンチマーク

- 一人称視点の動画理解が、別の遭遇（encounter）間で転移するかを診断するベンチマーク EgoGears を提案。 - 単一動画と複数動画の両方を含み、126 の人間収集 egocentric recordings（39 の屋外ルート）から 567 の単一動画質問と 1,487 の複数動画質問を構築。 - 移動速度や照明条件を変えた繰り返し走行により、共有物理環境での比較を可能にし、531 問は独立記録間の alignment を要求。 - 単一動画質問は局所的な視覚・空間・運動 evidence を、複数動画質問は evidence が正しい observation に結びつき route 関係として構成できるかを測る。

- 従来の cross-video accuracy は局所知覚の失敗と、observation identity の保持・correspondence 確立・evidence 構成の失敗を混同していた。 - EgoGears は単一動画と複数動画を相補的に分離し、局所 video understanding が実際に転移するかを診断できる点が新しい。 - 同一物理環境での繰り返し走行を基盤にし、独立記録間の alignment を要求する質問を含む点で、単なる動画本数や記録境界の影響を切り分けられる。

- 単一動画質問と複数動画質問を設計し、局所 evidence の有無と、それを正しい observation に束縛し route 状態として順序付け・統合する能力を分けて評価。 - 複数動画質問では独立記録間の alignment を要求し、observation–evidence binding と ordered route-state tracking を主なボトルネックとして検証。 - 6 つの model families にわたり、単一動画 29 構成・複数動画 31 構成の MLLM configurations を main leaderboard で報告。

- 20 の構成を両 split で同等に評価したところ、全モデルが複数動画質問で性能低下し、平均 22.5 percentage points の減少を確認。 - 回答形式と scoring を固定しても gap が持続することを確認。 - gap は単に動画本数が増えることや recording boundaries では説明できないと報告。

- 中心的なボトルネックは observation–evidence binding と ordered route-state tracking であると議論。 - 集約的な cross-video accuracy では局所知覚の失敗と転移・対応・構成の失敗が混同されるという問題意識を提示。 - その他の議論や限界については要旨からは不明。

- 要旨で参照・比較されている個別研究は明示されていない。 - 関連手法として MLLM（multimodal large language model）ベースの video understanding、egocentric video 理解、cross-video / multi-video reasoning、video alignment の定番研究を次に読むべき。 - 公開コードとベンチマーク（https://github.com/lei-qi-233/EgoGears）も参照。