ビデオ理解/質問応答2026/8/11arXiv:2608.11017

R4DSG：長尺一人称ビデオにおけるオブジェクト中心の質問応答のための相対4Dシーングラフメモリ

R4DSG: Relative 4D Scene Graph Memory for Object-Centric Question Answering in Long Egocentric Video

長い一人称ビデオから、物体の移動や状態変化などの質問に答えるため、安定したアンカーと動的物体を分離し、アンカー相対の変化として物体状態を記憶する新しいメモリ表現を提案した。

詳しい要約

1. どんなもの？

R4DSGは、長時間の一人称視点（egocentric）ビデオに対するオブジェクト中心の質問応答（QA）のための、相対的4Dシーングラフメモリを導入する手法。ビデオを、時間・場所・永続オブジェクト・アンカー相対変化・局所相互作用コンテキストで索引付けされたコンパクトなクエリ可能なメモリエントリに変換する。安定アンカーと動的オブジェクトを分離し、フレーム間で永続的なオブジェクトIDを維持し、オブジェクト状態をグローバルに整列されたワールドモデルではなくアンカー相対遷移で表現する。

2. 先行研究と比べてどこがすごい？

既存の長尺ビデオQA手法は時間的グラウンディングやクリップ検索に重点を置き、キャプションやトランスクリプトベースのメモリは永続的なオブジェクトIDや構造化された空間変化を保持しない。先行の3Dシーングラフ手法は、点群、RGB-D入力、ポーズ付きビュー、スパース再構成、再構成シーンなど、自由運動のウェアラブルRGBビデオよりも強い幾何学的前提を仮定する。R4DSGは、RGBのみの最近の進歩（プロンプト可能なビデオセグメンテーション、時間的伝播、相対的3Dリフティング）を利用し、グローバルな再構成を必要とせずに、検索可能なメモリを直接構築する点が新しい。

3. 技術・手法の肝は？

手法の肝は、安定アンカーと動的オブジェクトを分離し、永続的なオブジェクトIDを維持しつつ、オブジェクト状態をアンカー相対の遷移として表現すること。具体的には、RGBビデオからプロンプト可能なビデオセグメンテーションでオブジェクトを抽出し、時間的伝播でIDを追跡し、相対的3Dリフティングでアンカーに対する相対的な位置変化を推定する。生のグラフシーケンスを保存する代わりに、時間・場所・オブジェクト・変化・コンテキストで索引付けられたコンパクトなメモリエントリに変換し、長期的な質問応答に直接利用できる検索準備済みメモリを生成する。

4. どうやって有効だと検証した？

EgoLifeQAから抽出した255問のオブジェクト関連サブセットで評価。質問のみの検索設定で、EgoRAG-Textに対して全体で6.7ポイント、when質問で12.5ポイントの改善を達成。これにより、時間的に組織化されたオブジェクトメモリの価値を実証した。

5. 議論はある？

要旨からは、提案手法がEgoRAG-Textなどのベースラインを上回る一方で、他の手法との比較や限界（例：オブジェクトの永続性が失敗する場合、アンカー選択の影響、計算コスト）については明示されていない。また、評価がEgoLifeQAのサブセットに限定されており、一般化可能性については議論の余地がある。

6. 次に読むべき論文は？

要旨で参照されているEgoRAG-Text、EgoLifeQA、および関連するRGB-onlyのプロンプト可能なビデオセグメンテーション、時間的伝播、相対的3Dリフティングの手法（例：SAM 2、DEVA、Relative 3D lifting）に関する論文が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ke Ma, Yamin Mao, Weiming Li, Shuai Tan, Yijie Zhong, Hao Chen, Haofen Wang, Meng Wang

分類: cs.CV, cs.AI, cs.HC, cs.MM

原文アブストラクト

Long-horizon egocentric video is a rich substrate for wearable AI assistants, but object-centric questions such as where an item was moved, when it last changed state, or why it was relocated remain difficult because caption- and transcript-based memories rarely preserve persistent object identity or structured spatial change. Existing long-video QA methods mainly emphasize temporal grounding and clip retrieval, while prior 3D scene-graph methods typically assume stronger geometry than free-motion wearable RGB video provides, including point clouds, RGB-D input, posed views, sparse reconstruction, or reconstructed scenes. R4DSG introduces a relative 4D scene graph memory for long egocentric video. Instead of storing raw graph sequences, R4DSG converts video into compact queryable memory entries indexed by time, place, persistent objects, anchor-relative change, and local interaction context. The main idea is to separate stable anchors from dynamic objects, maintain persistent object identity across frames, and represent object state through anchor-relative transitions rather than a globally aligned world model. Built on recent RGB-only advances in promptable video segmentation, temporal propagation, and relative 3D lifting, the method produces a retrieval-ready memory directly usable for long-horizon question answering. Evaluation on a 255-question object-related subset from EgoLifeQA shows, under question-only retrieval, a 6.7-point overall gain over EgoRAG-Text and a 12.5-point gain on when questions, which highlights the value of temporally organized object memory. These results position relative 4D scene graphs as a practical memory substrate for wearable assistants, AR systems, and embodied multimedia agents. GitHub Page: https://dualtransparency.github.io/R4DSG/.

arXivで原文を読む →arXiv概要ページ

← 論文一覧