EgoActionBench：一人称視点動画の高密度行動キャプショニングベンチマーク

- 一人称視点(egocentric)の人間動画における密な行動キャプション(dense action captioning)を評価するベンチマーク EgoActionBench を提案する研究。 - 連続的な人間の manipulation を、時間的に局所化された atomic action として表現し、左手・右手・両手のいずれかに対応付ける。 - 1,407 episodes、41,132 件の human-refined action annotations を含む。 - 密な予測を評価するため、時間的に該当する候補の検索、内容一致による予測選択、semantic fidelity と temporal overlap、action precision/recall を組み合わせた評価プロトコルを提案。

- 既存ベンチマークは action atomicity、temporal precision、hand-action association の点で限界があると指摘。 - EgoActionBench は行動を時間的に局所化された atomic action として扱い、左手・右手・両手への対応付けを明示的に評価対象とする点が特徴。 - 何が起きたか(what)、いつ起きたか(when)、どちらの手か(which hand)を同時に捉える評価を可能にする。 - 20 の baseline models and systems を評価し、現行モデルの限界を明らかにした。

- 連続的な manipulation を temporally localized atomic actions に分解し、left hand / right hand / both hands へ関連付けるアノテーション形式を採用。 - 評価プロトコルは、temporally eligible candidates の検索、content agreement による予測選択、semantic fidelity と temporal overlap のスコアリング、action precision/recall の算出から成る。 - 自動アノテーション済み training episodes に対し、Qwen3-VL-4B と LLaVA-OneVision-2-8B の 2 つの backbone を supervised fine-tuning 後に reinforcement learning で適応。

- EgoActionBench 上で 20 の baseline models and systems をベンチマーク。 - 2 つの backbone を supervised fine-tuning と reinforcement learning で適応し、EgoActionScore がそれぞれ 15.9 点、23.2 点上昇。 - 適応した両モデルがすべての open-source baselines を上回った。 - 実験により、現行モデルの action atomicity、temporal precision、hand-action association における大幅な限界を示した。

- 現行モデルは general video understanding と embodied intelligence に必要な action understanding の間に大きなギャップがあると結論。 - action atomicity、temporal precision、hand-action association における制約が明らかになった。 - 具体的な失敗要因や評価プロトコルの限界、データセットの偏りについては要旨からは不明。

- 要旨で比較対象として明示されている Qwen3-VL-4B および LLaVA-OneVision-2-8B の原論文。 - 関連手法として supervised fine-tuning と reinforcement learning を用いた video-language model 適応研究。 - 同分野の定番として egocentric video understanding や action segmentation、dense video captioning のベンチマーク研究。