日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
sim2realarXiv:2609.26795

φ-RIE: フォトリアリスティック再構成からインタラクティブ環境へ

φ-RIE: From Photorealistic Reconstruction to Interactive Environments

シェア:XThreadsFacebookLINEはてブBluesky

3Dガウススプラッティングで再構成したシーンから、選択した物体をシミュレータで動かせるアセットに変換し、背景も補完してインタラクティブ環境を構築するパイプラインを提案。

詳しい要約

1. どんなもの？

- 3D Gaussian Splatting (3DGS) で再構成したシーンを、ロボットシミュレーションで使えるインタラクティブ環境に変換するパイプライン φ-RIE を提案。 - 対象は ScanNet++ の屋内シーン。 - 選択した物体を可動なシミュレータ資産にしつつ、残りの再構成を保持する。 - 物体の外観が背景と絡み合い、隠れた物体形状や遮蔽背景が未観測という課題に対処。

2. 先行研究と比べてどこがすごい？

- 従来の 3DGS は写実的な再構成はできるが、物体レベルの変化（独立移動・接触・遮蔽解除）を直接は扱えない。 - 既存の単一生成器ベースラインと比べ、操作タスクで改善を示す。 - 資産構築と元シーン除去を結合する点が新規。 - 50 ScanNet++ シーンで、20mm での matched F1 を 0.336 から 0.383 に向上（固定保持率）。

3. 技術・手法の肝は？

- 鍵となる観察：資産構築とソース除去を結合すべき。1つの物体同一性が、可動資産と除去・補完すべきシーン内容の両方を定義する。 - Scene Observation が共有証拠を提供。 - Coupled Scene Construction が、登録済み資産と補完済み背景 Gaussians を生成。 - Interactive Environment でシミュレータ駆動レンダリング。 - 編集されていない Gaussians を保持しつつ、視覚状態と物理状態を整合。

4. どうやって有効だと検証した？

- 50 の ScanNet++ シーンで評価。 - 証拠ベース選択と登録リトライにより、20mm での matched F1 が 0.336 から 0.383 に向上（固定保持率）。 - 資産の実行可能性、単一生成器ベースラインに対する操作ゲイン、変換の視覚コストを追加テストで示す。

5. 議論はある？

- 変換の視覚コストが存在することを示す。 - 資産の実行可能性や操作ゲインは示されるが、限界や失敗事例の詳細は要旨からは不明。 - 結合設計の有効性は示唆されるが、他のシーンやロボットタスクへの一般化は要旨からは不明。

6. 次に読むべき論文は？

- 3D Gaussian Splatting (3DGS) - ScanNet++ - 単一生成器ベースライン（具体的名称は要旨からは不明） - ロボットシミュレーション向けの物体レベル編集・シーン補完手法

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Runyi Yang, Deheng Zhang, Xiaoye Wang, Kanzhi Wu, Lei Sun, Ajad Chhatkuli, Kunyu Peng, Luc Van Gool, Danda Pani Paudel

分類: cs.RO, cs.CV, cs.GR

原文アブストラクト

3D Gaussian Splatting (3DGS) can reconstruct a captured scene photorealistically, but the resulting representation does not by itself support physical interaction. Robot simulation instead requires object-level change, \textit{i.e.}, objects must move independently, make contact, and reveal previously occluded surroundings. This gap arises because object appearance may remain entangled with the background, while hidden object geometry and occluded background content may be unobserved. To address this challenge, we present φ-RIE, a Gaussian-native pipeline that converts selected objects into movable simulator assets while preserving the remaining reconstruction. Our key observation is that asset construction and source removal should be coupled, \textit{i.e.}, one object identity should define the movable asset and the scene content to remove and complete. Accordingly, Scene Observation supplies shared evidence to Coupled Scene Construction, which creates registered assets and completed background Gaussians for simulator-driven rendering in an Interactive Environment. This coupling preserves unedited Gaussians while aligning visual and physical state. On 50 ScanNet++ scenes, evidence-based selection and registration retry increase matched F1 at 20\,mm from 0.336 to 0.383 at fixed retention. Further tests demonstrate asset executability, manipulation gains over a single-generator baseline, and the visual cost of conversion. Together, these results demonstrate that \name\ enables interactive scene conversion.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI