日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
VLAarXiv:2610.27104

LVMem: 画像拡張メモリによる長期的質問応答

LVMem: Image-Augmented Memory for Long-Horizon Question Answering

シェア:XThreadsFacebookLINEはてブBluesky

視覚ベースのメモリに画像パスを紐付け、光フローによるフレーム選択と物体中心の記述を導入することで、長期的な時空間質問応答を効率化したフレームワーク。

詳しい要約

1. どんなもの？

- 長期的な観測履歴から物体・事象・位置に関する質問に答える、embodied agents 向けの言語誘導型知覚フレームワーク。 - view-based memory パラダイムを拡張した LVMem を提案。 - 各記憶記述を元の視覚内容へ結びつける image paths を保持する点が特徴。 - 長期的時空間質問応答(long-horizon spatio-temporal QA)を対象とする。

2. 先行研究と比べてどこがすごい？

- 既存の view-based システムは text captions か visual embeddings のいずれかを保存するのが典型。 - LVMem は ReMEmbR-style memory を image paths で拡張し、記述と元画像を紐づける。 - 記憶構築時の uniform sampling を optical-flow-based frame selection(PSFR)に置換。 - plain captions ではなく object-centric descriptive scene representation を保存。 - OC-NaVQA で ReMEmbR を binary・positional metrics で上回り、4D scene graph の DAAAM baseline と binary accuracy で同等以上。 - 明示的な graph construction を要しない軽量な view-based memory で実現。

3. 技術・手法の肝は？

- view-based memory に image paths を付与し、保存記述と元視覚内容をリンク。 - 記憶構築のフレーム選択に optical-flow-based frame selection strategy(PSFR)を採用。 - 保存表現を plain captions から object-centric descriptive scene representation へ変更。 - VLM-based agent に adaptive retrieval tool を付与。 - 当該ツールは最も関連する caption に対応する画像を返し、agent が視覚確認の要否を判断できる。

4. どうやって有効だと検証した？

- OC-NaVQA benchmark 上で評価。 - 2 種類の backbones の双方で、binary および positional metrics において ReMEmbR を上回った。 - 4D scene graph の DAAAM baseline に対し binary accuracy で同等以上。 - 具体的な数値や実験設定の詳細は要旨からは不明。

5. 議論はある？

- 明示的な graph construction を不要とする軽量 view-based memory の利点を主張。 - adaptive retrieval により agent が視覚確認のタイミングを判断できる点を議論。 - 限界・失敗事例・計算コストの詳細な議論は要旨からは不明。

6. 次に読むべき論文は？

- ReMEmbR(view-based memory の基盤手法) - DAAAM(4D scene graph ベースの baseline) - OC-NaVQA benchmark 関連の研究 - optical flow を用いた frame selection 関連手法 - VLM-based agent の adaptive retrieval / tool-use 関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Victoria Khoruzhaya, Maksim Kalmykov, Tuong Do Minh, Tatiana Zemskova, Yixin Zhu, Dmitry Yudin

分類: cs.CV

原文アブストラクト

Reliable language-guided perception is essential for embodied agents, where questions about objects, events, and their locations must be answered from long observation histories. Unlike conventional visual question answering, realistic robotic settings require reasoning over extended temporal horizons and persistent scene memory. We build upon the view-based memory paradigm and propose an efficient framework for long-horizon spatio-temporal question answering. While existing view-based systems typically store either text captions or visual embeddings, we extend the ReMEmbR-style memory with image paths that link each stored description to its original visual content. To make the stored annotations more informative, we replace uniform sampling during memory construction with an optical-flow-based frame selection strategy (PSFR) and store an object-centric descriptive scene representation instead of plain captions. We further equip a VLM-based agent with an adaptive retrieval tool that returns the image associated with the most relevant caption, allowing the agent to decide when visual inspection is needed. On the OC-NaVQA benchmark, LVMem outperforms ReMEmbR on binary and positional metrics with both backbones and matches or exceeds a 4D scene graph DAAAM baseline on binary accuracy, while operating on a lightweight view-based memory that requires no explicit graph construction.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI