日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
物体探索arXiv:2610.30606

常識と記憶で拡張した推論による動的環境での物体探索

CMAR-search: Commonsense and Memory Augmented Reasoning for Object Search in Dynamic Interactive Environments

シェア:XThreadsFacebookLINEはてブBluesky

エリアの機能に関する常識と蓄積した記憶を組み合わせ、機能別3Dシーングラフを構築して大規模環境での物体探索を効率化するフレームワークを提案した論文。

詳しい要約

1. どんなもの？

- 大規模な人間環境における動的な対話型物体探索（object search）のためのフレームワーク「CMAR-search」を提案した論文。 - Commonsense and Memory Augmented Reasoning（CMAR）に基づく。 - 環境を Functional 3D Scene Graph（F3DSG）として構成し、機能エリアと関連する container を組織化する。 - マクロ（area）とミクロ（container）の階層的な行動計画（hierarchical action planning）を可能にする。 - 動的に変化する環境での物体再定位（relocalize）を目指す。

2. 先行研究と比べてどこがすごい？

- 既存の 3D Scene Graphs（3DSG）は粗い空間分割のみで、storage や leisure などの機能エリアを識別できないと指摘。 - 機能エリア理解がない既存手法は大規模環境で逐次的な網羅探索に制約され、drawer や cabinet が多い open-layout 環境で非効率。 - 既存手法は物体の移動などの環境動態への適応性を欠く。 - 提案手法は commonsense と memory を統合し、機能的エリアを扱う点でこれらを克服すると主張。

3. 技術・手法の肝は？

- commonsense（エリア機能に関する常識）と環境 memory を集約し、Functional 3D Scene Graph（F3DSG）を構築。 - F3DSG は環境を機能エリアと関連 container に組織化する構造表現。 - この表現を通じて macro-area と micro-container の両レベルで階層的行動計画を実行。 - 意味的に関連するエリアを効率的に特定・検査する。 - リアルタイム知覚、蓄積 memory、commonsense を継続的に統合し、変化する環境で物体を動的に再定位。

4. どうやって有効だと検証した？

- simulation と real-world の両設定で広範な実験を実施。 - 動的対話型環境における物体探索について、success rate と search efficiency の両方で state-of-the-art baselines を大きく上回ったと報告。 - 具体的なデータセット名・指標値・被験者数などは要旨からは不明。

5. 議論はある？

- 要旨からは不明。 - 限界や失敗ケース、commonsense の誤りへの頑健性、memory 更新のコストなどについての議論は要旨に記載なし。

6. 次に読むべき論文は？

- 3D Scene Graphs（3DSG）に関する研究。 - 機能エリアや container を扱う scene graph 表現の関連研究。 - commonsense reasoning を用いた物体探索・行動計画の研究。 - memory augmentation を用いた環境適応・物体再定位の研究。 - 具体的な参照論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Kaiyao Liao, Qingfeng Li, Xinlei Zhang, Chen Chen, Qing Sun, Jianwei Niu

分類: cs.RO

原文アブストラクト

Dynamic interactive object search in large-scale human environments presents substantial challenges for existing methods. Current scene representations like 3D Scene Graphs (3DSG) only provide coarse-grained spatial segmentation and cannot identify functional areas such as storage or leisure areas. Without functional area understanding, existing methods are constrained to exhaustive sequential exploration at large scales, resulting in inefficient search behaviors -- particularly in open-layout environments with numerous interactive objects such as drawers and cabinets. Moreover, these methods lack adaptability to environmental dynamics such as object relocations. To address these limitations, this paper proposes CMAR-search, a novel framework built upon Commonsense and Memory Augmented Reasoning (CMAR). Our approach leverages commonsense about area functionalities and aggregates environmental memory to construct a Functional 3D Scene Graph (F3DSG), which organizes the environment into functional areas with their associated containers. Through this structured representation, CMAR enables hierarchical action planning at both macro-area and micro-container levels, empowering the system to efficiently identify and inspect semantically relevant areas for effective object search. Notably, CMAR continuously integrates real-time perception, accumulated memory, and commonsense to dynamically relocalize objects in changing environments. Extensive experiments in simulation and real-world settings demonstrate that CMAR-search significantly surpasses state-of-the-art baselines in both success rate and search efficiency for object search in dynamic interactive environments.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI