日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
sim2realarXiv:2610.41190

粗から細へのフローマッチングによる詳細認識型Sim-to-Real単眼深度推定

FlowMoDE: Coarse-to-fine Flow Matching for Detail-aware Sim-to-Real Monocular Depth Estimation

シェア:XThreadsFacebookLINEはてブBluesky

粗い特徴デコードと細部復元を段階的に行うフローマッチング手法で、合成データのみで学習しながら実世界の屋内・屋外シーンで高精度な単眼深度推定を実現した。

詳しい要約

1. どんなもの？

- 単眼深度推定（monocular depth estimation）のための生成的手法 - ロボティクス／知的システムの3D空間知覚を対象 - flow matching に基づく coarse-to-fine フレームワーク FlowMoDE を提案 - 目的は効率と構造忠実性の両立 - 拡散モデルの多段サンプリングによる推論効率低下を回避 - 単段拡散モデルが高忠実度深度を復元しにくい問題を緩和 - sim-to-real および cross-scene 汎化を志向 - 合成データのみで学習し実世界へ適用

2. 先行研究と比べてどこがすごい？

- 識別的手法（discriminative methods）に対し生成的手法は微細構造の再構成と汎化で優位とされる - 既存の生成拡散モデルは多段サンプリングで推論効率が低い - 単段拡散モデルは高忠実度深度の復元が困難 - FlowMoDE は flow matching と coarse-to-fine 構成でこれら両課題の緩和を狙う - 単一の合成屋内データセットのみで学習し、5つの実世界データセットで prior methods を上回ると報告 - 相対誤差 average 14.1% 削減（state-of-the-art 比） - point cloud reconstruction の chamfer distance 9.9% 削減

3. 技術・手法の肝は？

- flow-matching ベースの coarse-to-fine フレームワーク - コア構成 - 事前学習済み semantic encoder から抽出した diffused features を条件に coarse-level decoding を実施 - その後 expanded decoding layers により fine-grained structural patterns を復元 - 学習データ - 単一の合成屋内データセットのみで学習 - 推論効率と構造忠実性の両立を狙う設計 - 多段サンプリング依存の低効率を flow matching で緩和 - coarse-to-fine で細部構造を段階的に回復

4. どうやって有効だと検証した？

- 5つの実世界屋内・屋外データセットで評価 - 単一合成データセット学習のみで prior methods を上回ると報告 - 相対誤差 average 14.1% 削減（state-of-the-art 比） - point cloud reconstruction の chamfer distance 9.9% 削減 - ロボティックな実シーンでの汎化検証 - state-of-the-art 手法との qualitative comparisons を実施 - 詳細な定量プロトコルやデータセット名は要旨からは不明

5. 議論はある？

- 生成的手法の推論効率と高忠実度復元のトレードオフへの対処を主張 - 合成のみ学習での sim-to-real／cross-scene 汎化を強調 - 限界・失敗事例・計算コストの定量比較は要旨からは不明 - 比較対象の state-of-the-art 具体名は要旨からは不明 - 定性比較中心のロボティック検証の詳細は要旨からは不明

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究 - 識別的単眼深度推定（data-driven discriminative methods） - 生成拡散モデル（multi-step diffusion models） - 単段拡散モデル（single-step diffusion models） - flow matching 関連手法 - 関連手法として挙げられる要素 - 事前学習済み semantic encoder - point cloud reconstruction 評価（chamfer distance） - 同分野の定番として検討候補 - sim-to-real 単眼深度推定の代表的ベンチマーク論文 - flow matching／拡散ベース深度推定の関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Liangjing Shao, Wanhao Liu, Jinsong Lin, Zhiwei Fang, Hongliang Ren

分類: cs.CV

原文アブストラクト

Monocular depth estimation is a fundamental capability for 3D spatial perception in robotic and intelligent systems. While data-driven discriminative methods have achieved compelling performance for monocular depth estimation, generative approaches can reconstruct fine structural details with stronger generalization. However, most existing generative diffusion models suffer from low inference efficiency caused by multi-step sampling, whereas single-step diffusion models struggle to recover high-fidelity depth maps. To mitigate these drawbacks, this paper presents FlowMoDE, a coarse-to-fine flow-matching-based framework for efficient, structure-aware monocular depth estimation supporting sim-to-real and cross-scene generalization. The core architecture first conducts coarse-level decoding conditioned on diffused features extracted from a pre-trained semantic encoder, and subsequently restores fine-grained structural patterns via expanded decoding layers. Trained exclusively on a single synthetic indoor dataset, our proposed method outperforms prior methods across five real-world indoor and outdoor datasets, yielding an average 14.1% reduction in relative error against state-of-the-art works as well as 9.9\% reduction in chamfer distance for point cloud reconstruction. We further validate the generalization capability of FlowMoDE on realistic robotic scenes, with qualitative comparisons against state-of-the-art methods. The project page is https://flowmode-shao.netlify.app/

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI