日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
sim2realarXiv:2609.24312

AnalogDepth: アナログ映像伝送下のFPVドローンによる多視点幾何

AnalogDepth: Multi-view Geometry from FPV drones under Analog Video Transmission

シェア:XThreadsFacebookLINEはてブBluesky

FPVドローンのアナログ映像ノイズに適応させるため、LoRAと知識蒸留でDepth Anything 3を微調整し、実ノイズバンクを用いることで深度推定と3D再構成の精度を向上させた研究。

詳しい要約

1. どんなもの？

- FPV droneのAnalog VTXで生じる複雑な画像劣化に対し、Depth Anything 3 (DA3) を適応させる手法。 - 学生-教師知識蒸留とLoRAをDINOv2 backboneに注入するparameter-efficientな学習パイプライン。 - 実ノイズバンクを構築し、実ノイズ注入とPSD-matched Gaussian合成・AWGNを比較。 - 6つの実FPV飛行シーケンス、3つの屋内シーンで評価。

2. 先行研究と比べてどこがすごい？

- 従来の標準的な学習拡張はAWGNなどデジタル画像劣化を想定。 - Analog VTXの空間構造を持つ劣化は根本的に異なり、DA3の精度を著しく低下させることを示した。 - 実ノイズバンクを用いることで、事前学習済みDA3やGaussianノイズ変種よりper-frame depth RMSEと3D reconstruction Chamfer distanceを一貫して低減。 - 実アナログ伝送ノイズの空間構造の再現が適応に重要と示唆。

3. 技術・手法の肝は？

- 学生-教師知識蒸留によりDA3をAnalog FPV画像に適応。 - LoRAをDINOv2 backboneに注入しparameter-efficientに学習。 - 解析的にノイズを合成せず、多様な条件下の静的FPV録画からノイズバンクを構築。 - 実ノイズ注入、PSD-matched Gaussian合成、AWGNをベースラインとして比較。

4. どうやって有効だと検証した？

- 3つの屋内シーンにわたる6つの実FPV飛行シーケンスで実験。 - 評価指標はper-frame depth RMSEと3D reconstruction Chamfer distance。 - ノイズバンク学習が事前学習済みDA3ベースラインおよび2つのGaussianノイズ変種より一貫して低減。

5. 議論はある？

- 実アナログ伝送ノイズの空間構造を再現することが効果的適応に重要と結論。 - 限界や今後の課題、他のシーンやVTX条件への一般化については要旨からは不明。

6. 次に読むべき論文は？

- Depth Anything 3 (DA3) - DINOv2 - Low-Rank Adaptation (LoRA) - 学生-教師知識蒸留 - AWGN - PSD-matched Gaussian synthesis

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: André Amorim, Pedro F. Proença

分類: cs.CV, cs.RO

原文アブストラクト

Analog video transmission (VTX) remains widespread in FPV drones due to low latency, weight and low cost. However analog VTX suffers from complex spatially structured image degradation which differ fundamentally from digital image corruption (e.g. AWGN) used in standard training augmentation. This work shows that this type of noise severely degrades the accuracy of Depth Anything 3 (DA3), a state-of-the-art feed forward visual geometry foundation model. To address this gap, we present AnalogDepth, a parameter-efficient training pipeline that adapts DA3 to analog FPV imagery using student-teacher knowledge distillation with Low-Rank Adaptation (LoRA) injected into the DINOv2 backbone. Rather than synthesizing noise analytically, we build a noise bank from static FPV recordings under diverse conditions and compare real-noise injection against PSD-matched Gaussian synthesis and AWGN as baselines. Experiments on six real FPV flight sequences across three indoor scenes show that training with our noise bank consistently reduces per-frame depth RMSE and 3D reconstruction Chamfer distance compared to the pretrained DA3 baseline and both Gaussian noise variants. These results demonstrate that replicating the spatial structure of real analog transmission noise is critical for effective adaptation.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI