シーン理解/3Dシーングラフ2026/9/11arXiv:2609.12614

ProClosure: 単眼動画からの漸進的境界閉鎖による階層的な部屋-物体割り当て

ProClosure: Hierarchical Room-Object Assignment using Progressive Boundary Closure from Monocular Video

単眼RGB動画からSLAMとオープンボキャブラリセグメンテーションで構造点群を作り、境界を漸進的に内側へ太らせて開口部を閉じることで部屋を復元し、物体を適切な部屋に割り当てる手法を提案する。

詳しい要約

1. どんなもの？

- 単眼RGB動画から3D scene graphのroom layerを復元する手法Progressive Boundary Closureを提案。 - SLAM front endとopen-vocabulary segmenterで構造点群・camera trajectory・object tracksを取得。 - 点群をtop-down mapにrasteriseし、roomを復元して各objectをそのextentの大半を含むroomに割り当てる。 - 目的は『kitchenからobjectを取って』のようなroom指定queryで正しく検索できるようにすること。

2. 先行研究と比べてどこがすごい？

- 従来法は未観測の壁のgapとdoorwayを区別できず、両方をpassageとして扱い、分離すべきroomを統合していた。 - 提案法は両者ともroomが越えてはならないものとして閉じるため、区別不要とする点が新しい。 - 6 HM3D-Semantics scenesの10 floorsでHOV-SGと同一top-down map上で比較し、room F_1を0.741から0.890(IoU 0.25)へ改善。 - object-to-room ARIも0.488から0.696へ改善(p=0.002、全floorで上回る)。

3. 技術・手法の肝は？

- 開口部はboundary growthで早期に閉じ、sightlineが横切りにくい性質を利用。 - 前者でroomを復元し、後者でobjectをroomへ割り当てる。 - boundaryを内側へProgressively thickeningし、free-space regionがenclosedになった時点でfreeze。 - これにより各開口部が事前固定radiusでなく自身のscaleでsealされる。 - camera posesをseedに使い、sampling heuristicを排除しsegmentationをdeterministicにする。

4. どうやって有効だと検証した？

- 6 HM3D-Semantics scenesの10 floorsで評価。 - HOV-SGと同一のtop-down map上でスコア比較。 - 72 annotated regionsに対し74 roomsを復元(HOV-SGは44)。 - room F_1が0.741から0.890(IoU 0.25)へ向上、precisionに多少のコスト。 - object-to-room ARIが0.488から0.696へ向上(p=0.002、全floorで優位)。

5. 議論はある？

- precisionに多少のコストがかかると述べられている。 - 未観測の壁gapとdoorwayを区別せず閉じる設計の妥当性が議論の焦点。 - その他の限界や失敗ケースは要旨からは不明。

6. 次に読むべき論文は？

- HOV-SG(比較対象)。 - SLAM front end、open-vocabulary segmenter、3D scene graph、HM3D-Semantics。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Vinoth Kumar Muthuraj, Soumyadeep Banik, Kushal Sharma, Hardik Jain

分類: cs.RO

原文アブストラクト

A 3D scene graph groups objects into rooms. When a robot is asked to fetch an object from the kitchen, that grouping is what tells it where to look. An object recorded in the wrong room is not retrievable by a query naming the correct room. We introduce Progressive Boundary Closure, which recovers room layer from a monocular RGB video. A SLAM front end and an open-vocabulary segmenter supply a structural point cloud, camera trajectory and object tracks. The cloud is rasterised into a top-down map, rooms are recovered from it, and each object takes the room holding most of its extent. The difficulty lies in the map itself. Walls are recorded only where the camera looked, so a gap in the boundary may be a doorway or a stretch of wall that was never observed; nothing distinguishes the two. Prior methods treat both as passages, merging rooms that should remain separate. We observe that both require the same treatment: a room should not extend across either, so both are closed and need not be distinguished. Such an opening closes under a small amount of boundary growth, and few sightlines cross it, so points in different rooms rarely see one another. We use the first to recover rooms and the second to assign objects to them. Rooms are obtained by Progressively thickening the boundary inward and freezing each free-space region once it becomes enclosed, so every opening seals at its own scale rather than at a radius fixed in advance. Camera poses are used as seeds, which removes the sampling heuristic and makes the segmentation deterministic. Over 10 floors of 6 HM3D-Semantics scenes, scored against HOV-SG on identical top-down maps, we recover 74 rooms for 72 annotated regions (HOV-SG: 44), raising room F_1 from 0.741 to 0.890 at IoU 0.25 at some cost in precision, and object-to-room ARI from 0.488 to 0.696 (p=0.002, ahead on every floor).

arXivで原文を読む →arXiv概要ページ

← 論文一覧