シーン理解2026/8/11arXiv:2608.10886v1

GESTO: 動的シーンにおける推論のための人間中心の時空間メモリ

GESTO: Human-Centric Spatio-Temporal Memory for Reasoning in Dynamic Scenes

RGB-D観測から、永続的な4Dシーングラフと、原子的人間-物体インタラクションと目標駆動イベントの2階層メモリを構築し、活動中心の時空間推論を可能にするシステムを提案した。

詳しい要約

1. どんなもの？

GESTO (Grounded Event and Spatio-Temporal memOry) は、動的な人間環境で活動中心の時空間推論を行うためのメモリモデルである。RGB-D観測ストリームから、永続的な4D scene graphと、原子的人間-物体インタラクションと目標駆動イベントの2レベル階層を結合する。自動的にタイムスタンプ付きインタラクションを抽出し、永続的なシーンエンティティに接地し、イベントにグループ化し、イベントコンテキストを使用して不確実な物体関連を洗練する。リレーション認識ツール呼び出しエージェントが、結果のメモリをクエリして活動中心の時空間推論を行う。

2. 先行研究と比べてどこがすごい？

既存の4D scene graphは物体と場所の履歴を保持するが活動構造を欠き、活動表現は永続的な3Dシーンに接地されていないか、外部提供のイベント境界と物体関連に依存する。GESTOは、永続的な4D scene graphと活動階層を統合し、自動的にイベントと物体接地を抽出することで、これらのギャップを埋める。

3. 技術・手法の肝は？

手法の肝は、RGB-Dストリームから自動的に抽出されたタイムスタンプ付きインタラクションを永続的なシーンエンティティに接地し、それらをイベントにグループ化する2レベル階層構造にある。さらに、イベントコンテキストを使用して不確実な物体関連を洗練するcontext-aware grounding refinementを採用し、リレーション認識ツール呼び出しエージェントがメモリをクエリする。

4. どうやって有効だと検証した？

既存のベンチマークの再現可能なtext, binary, timeカテゴリと、40の新しいSpace2EventおよびEvent2Spaceクエリで評価した。標準カテゴリで0.71, 0.75, 0.70のスコアを達成し、ground-truthのイベントと物体接地を提供された手法に近づき、これらの入力を除去した同じ推論フレームワークを大幅に上回った。Space2EventとEvent2Spaceで0.73と0.75を達成した。アブレーションにより、階層的イベント構造とcontext-aware grounding refinementが相補的な利点を提供することを示した。

5. 議論はある？

要旨からは、GESTOは既存のベンチマークでground-truth提供手法に近い性能を示すが、完全には上回っていない。また、新しいクエリタイプでの性能は標準カテゴリと同等である。アブレーションは階層構造と接地洗練の相補性を示すが、実世界の複雑なシナリオでの一般化や、より長期的なメモリのスケーラビリティについては議論されていない。

6. 次に読むべき論文は？

要旨で参照されている既存の4D scene graph手法（例えば、4D Scene Graphs）や、活動認識・表現の研究（例えば、Activity Graphs）が関連する。また、ベンチマークとして使用された既存の時空間推論ベンチマーク（例えば、Spatio-Temporal Reasoning benchmark）も挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ermanno Bartoli, Buwei He, Dennis Rotondi, Sebastian Koch, Federico Tombari, Kai O. Arras, Patric Jensfelt, Yixi Cai, Iolanda Leite

分類: cs.CV, cs.RO

原文アブストラクト

Robots operating in human environments need memories that capture not only what objects exist and where, but also how people use them over time and how individual interactions compose into goal-directed activities. Existing 4D scene graphs preserve object and place histories but omit activity structure, whereas activity representations are either not grounded in persistent 3D scenes or rely on externally provided event boundaries and object associations. We present GESTO (Grounded Event and Spatio-Temporal memOry), a spatio-temporal memory that couples a persistent 4D scene graph with a two-level hierarchy of atomic human--object interactions and goal-driven events. From an RGB-D observation stream, GESTO automatically extracts timestamped interactions, grounds them to persistent scene entities, groups them into events, and uses event context to refine uncertain object associations. A relation-aware tool-calling agent queries the resulting memory for activity-centric spatio-temporal reasoning. We evaluate GESTO on the reproducible text, binary, and time categories of an existing benchmark, together with 40 new Space2Event and Event2Space queries. GESTO achieves scores of 0.71, 0.75, and 0.70 on the standard categories, approaching a method supplied with ground-truth event and object grounding, while substantially outperforming the same reasoning framework when these inputs are removed. It further achieves 0.73 and 0.75 on Space2Event and Event2Space queries. Ablations show that hierarchical event structure and context-aware grounding refinement provide complementary benefits, supporting activity-grounded hierarchical memory for retrospective reasoning in dynamic human environments.

arXivで原文を読む →arXiv概要ページ

← 論文一覧