センサ融合2026/8/17arXiv:2608.16264v1

サイクロプス：色を夢見るカメラとしてのLiDAR

Cyclops: LiDAR as a Camera That Dreams in Color

低照度や高ダイナミックレンジ環境で劣化するカメラの代わりに、照明に依存しないLiDAR強度をRGBビデオに変換するフレームワーク「Cyclops」を提案し、カメラなしで終日認識タスクを可能にする。

詳しい要約

1. どんなもの？

Cyclopsは、Non-Repetitive Scanning LiDAR (NRS-LiDAR)の強度情報をRGBビデオに変換するフレームワークを提案する。これにより、カメラを使わずに、昼夜を問わない認識タスクを実行できる。具体的には、疎なLiDAR強度投影を高密度表現に変換し、Latent Bridge Matching (LBM)を用いてRGB分布へ輸送する。

2. 先行研究と比べてどこがすごい？

従来のロボット認識はカメラに依存するが、低照度や高ダイナミックレンジ環境では性能が低下する。LiDARは照明に不変だが、単チャンネルで疎なため、RGBデータセットで事前学習された視覚モデルに直接適用できない。Cyclopsは、このモダリティギャップを埋め、カメラなしでRGBベースの認識モデルを利用可能にする点が新しい。

3. 技術・手法の肝は？

手法の肝は、1) 凍結された事前学習済みの高密度化モジュールで疎なLiDAR強度投影を高密度表現に変換し、幾何学的にリッチなソース条件とする。2) Latent Bridge Matching (LBM)により、学習された速度場を用いて数回のODE積分ステップで高密度強度潜在変数をRGB分布へ輸送する。3) フレーム間のちらつきを軽減するため、時間的注意層で前フレームのコンテキストを注入する。4) 速度場をポリシーとして定式化し、微分可能な終端報酬でODE軌跡に沿ったバックプロパゲーションにより終端忠実度を最適化する。

4. どうやって有効だと検証した？

広範な実験により、合成されたRGB（ほぼ暗黒条件で生成されたものも含む）が、標準的なRGBベースの認識モデルを用いて、セマンティックセグメンテーション、レーン検出、ポイントクラウドカラーリングの各タスクにおいて、多様な照明条件下でLiDARベースラインと従来のカメラの両方を大幅に上回る性能を達成することを検証した。

5. 議論はある？

要旨からは、議論の余地や限界についての詳細は不明。ただし、提案手法はNRS-LiDARに特化しており、他のLiDARタイプへの適用可能性や、合成RGBの品質が実環境での認識性能に与える影響などが議論の対象となり得る。

6. 次に読むべき論文は？

要旨で参照されている関連研究として、LiDAR強度の高密度化モジュール、Latent Bridge Matching、およびRGBベースの認識モデル（セマンティックセグメンテーション、レーン検出、ポイントクラウドカラーリング）に関する論文が挙げられる。具体的には、NRS-LiDARの特性を扱った研究や、モダリティ変換のための生成モデル（例：Diffusion Models）が関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Wei Gao, Jian Shu, Mingle Zhao, Maani Ghaffari, David Kong, Chengzhong Xu, Hui Kong

分類: cs.RO

原文アブストラクト

Conventionally, robotic perception relies heavily on cameras due to the rich semantic texture they provide. However, their performance degrades significantly in low-light or high-dynamic-range environments. Conversely, while Light Detection and Ranging (LiDAR) captures illumination-invariant geometric and intensity properties, the resulting data are typically single-channel and sparse, creating a significant modality gap when applying vision models pre-trained on RGB datasets. In this paper, we propose Cyclops, a framework that translates sparse Non-Repetitive Scanning LiDAR (NRS-LiDAR) intensity into RGB video, enabling camera-free inference for all-day perception tasks. Our approach first converts sparse LiDAR intensity projections into dense representations via a frozen pre-trained densification module, serving as a geometrically rich source condition. The dense intensity latent is then transported toward the target RGB distribution through Latent Bridge Matching (LBM) with a learned velocity field in a few ODE integration steps. To mitigate inter-frame flickering, we inject prior-frame context via temporal attention layers and further formulate the velocity field as a policy optimized by a differentiable terminal reward that encourages terminal fidelity through backpropagation along the ODE trajectory. Extensive experiments demonstrate that the synthesized RGB, including those generated under near-dark conditions, enable standard RGB-based perception models to substantially outperform both LiDAR baselines and conventional cameras on semantic segmentation, lane detection, and point cloud colorization across diverse lighting conditions.

arXivで原文を読む →arXiv概要ページ

← 論文一覧