日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
ロボットマニピュレーションarXiv:2610.29761

OMAR: 未知物体を推論して棚を整理するオープンワールド多属性推論

OMAR: Open-World Multi-Attribute Reasoning for Scene-Conditioned Shelf Organization

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語モデルとLLMを組み合わせ、未知物体の属性を推定して3Dシーングラフを構築し、指示なしで棚の潜在的な整理方針を推論して配置を決定する手法を提案した。

詳しい要約

1. どんなもの？

- 家庭内整理のような open-ended なタスクで、ロボットが観測 scene から適切な行動を推論するための open-world multi-attribute reasoning pipeline を提案 - 未知物体を複数視点で ground し、instance-level 3D scene graph を構築して配置推論に用いる - 棚の潜在的な整理構造を LLM で推論し、ユーザー指定の選好なしに scene-consistent な配置候補をランク付けする - ランク付け結果を geometric・kinematic な feasibility check に渡して実行に繋げる枠組み

2. 先行研究と比べてどこがすごい？

- 単一視点の language-grounding baseline や geometry-only baseline に対し、instance mapping と placement coherence が改善 - 事前定義の object-receptacle mapping やクラス別再学習なしで、未見物体を自律配置できる点が特徴 - 指示追従や demonstration からの選好学習ではなく、観測 scene から latent organization を推論する点を強調 - 詳細な先行研究との定量比較は要旨からは不明

3. 技術・手法の肝は？

- vision-language model が物体の label と content・packaging type などの attribute を提案 - segmentation・depth・multi-view association により未知物体を複数視点で ground し、instance-level 3D scene graph を構築 - LLM がこの表現上で推論し、棚の latent organization を推定して scene-consistent な配置候補をランク付け - ランキングを geometric・kinematic feasibility check に通して実行可否を判断

4. どうやって有効だと検証した？

- 実験的評価により、単一視点 language-grounding baseline と geometry-only baseline に対し instance mapping と placement coherence が改善することを示す - 事前の object-receptacle mapping やクラス別再学習なしで未見物体を自律配置できることを確認 - 具体的なデータセット名・評価指標・被験者実験の有無は要旨からは不明

5. 議論はある？

- 未知物体・未知の収納対応・明示的選好なしという open-world 設定への対応を主張 - 一方で、要旨には限界・失敗事例・計算コスト・LLM 推論の信頼性に関する議論は明記されていない - 具体的な議論の有無は要旨からは不明

6. 次に読むべき論文は？

- 要旨で比較対象として挙げられる single-view language-grounding baseline および geometry-only baseline の関連研究 - 3D scene graph 構築・grounding に関する研究 - vision-language model を用いた open-vocabulary 物体認識・属性推定の研究 - LLM による配置・整理推論に関する研究 - 個別の論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Benedikt Kreis, Rohit Menon, Benno Wingender, Muhammad Ehsan Ullah, Nils Dengler, Maren Bennewitz

分類: cs.RO

原文アブストラクト

With the advent of foundation models, robots are increasingly capable of understanding and executing explicitly specified human tasks. Extending these capabilities to open-ended tasks, however, requires robots to infer appropriate actions from the observed scene. Household organization exemplifies this challenge, as robots must often act without detailed instructions, predefined object vocabularies, or known object-receptacle associations. While robots may follow instructions or learn organization preferences from demonstrations, inferring the latent organization of an occasionally changing scene and placing a novel object consistently with it remains challenging. We propose an open-world multi-attribute reasoning pipeline that grounds unknown objects across views and constructs an instance-level 3D scene graph for placement reasoning. First, a vision-language model proposes labels together with attributes such as content and packaging type, which are grounded through segmentation, depth, and multi-view association. Then, an LLM reasons over this representation to infer the latent shelf organization and rank scene-consistent object placements without explicitly user-provided preferences. The resulting placement rankings guide subsequent geometric and kinematic feasibility checks for execution. Our experimental evaluation shows that our approach leads to improved instance mapping and placement coherence over single-view language-grounding and geometry-only baselines, enabling autonomous placement of previously unseen objects without predefined object-receptacle mappings or class-specific retraining.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI