手術支援/深度推定2026/8/5arXiv:2608.05109v1

AIによる単一ショット構造光深度再構成：リアルタイム腹腔鏡手術ガイダンスのための

AI-based single-shot structured-light depth reconstruction for real-time laparoscopic surgical guidance

受動的LED照明とバイナリマスクを用いた同期不要の単一ショット深度センシングプラットフォームを開発し、VQ-VAE事前分布とU-Net深度ヘッドで深度を推定、26Hzで動作することを示した。

詳しい要約

1. どんなもの？

本論文は、ロボット支援腹腔鏡手術におけるリアルタイム深度推定のための、同期不要かつ単一ショットの構造光深度再構成プラットフォームを提案している。受動的なLED照明とバイナリマスクを用いたコンパクトな投影モジュールを二眼腹腔鏡の一方のチャネルに結合し、他方のチャネルでフリンジ照射された対象を撮像する。VQ-VAE事前学習とカスタムU-Net深度ヘッドを用いて、入力画像を離散潜在表現に符号化し、潜在空間内のU-Netが深度を予測する。Zivid 3Dカメラで取得した参照深度をSSLE画像フレームに再投影して教師データとし、固定のtrain/validation/test分割で評価した。結果、MAE 3.70 mm、AbsRel 0.0326、delta=1.1精度0.962、delta=1.1^2精度0.970を達成し、26.0 Hzで動作した。

2. 先行研究と比べてどこがすごい？

従来のフリンジ投影プロフィロメトリはミリメートル精度を達成できるが、マルチショット取得、デジタルマイクロミラーデバイス投影、プロジェクタ-カメラ同期が必要であり、コンパクトな腹腔鏡システムへの統合が困難である。本手法は、同期不要で単一ショットの深度センシングを実現し、受動的なLED照明とバイナリマスクを用いることでシステムを簡素化している。また、VQ-VAE事前学習と潜在空間U-Netを導入し、マスク予測ブランチを別途設けない点が独自性である。さらに、既製の単眼深度モデルと比較してMAE、AbsRel、閾値精度で優れており、デュアルU-Netベースライン（MaskNet + DepthNet）よりも低いMAEを達成した。

3. 技術・手法の肝は？

手法の核心は、VQ-VAE（Vector Quantized Variational Autoencoder）を用いて入力画像を離散潜在表現に符号化し、その潜在空間でU-Netが深度を直接予測する点である。投影モジュールはLED照明とバイナリマスクを使用し、同期を不要にする。深度参照はZivid 3Dカメラで取得し、SSLE画像フレームに再投影して教師データを生成する。訓練は教師ありで行われ、損失関数はMAEなどが用いられる。推論時は単一画像から深度を出力する。

4. どうやって有効だと検証した？

有効性の検証は、722枚のペア画像（ファントム画像）を用いて行われた。Zivid 3Dカメラで参照深度を取得し、SSLE画像フレームに再投影して教師データとした。固定のtrain/validation/test分割で評価し、MAE 3.70 mm、AbsRel 0.0326、delta=1.1精度0.962、delta=1.1^2精度0.970を達成した。また、デュアルU-Netベースライン（MaskNet + DepthNet）と既製の単眼深度モデルと比較し、MAE、AbsRel、閾値精度で優れていることを示した。さらに、NVIDIA A100 GPU上で301フレーム連続処理し、26.0 Hzの動作速度を確認した。

5. 議論はある？

議論として、データセットサイズとSSLE-Zividキャリブレーション精度の重要性が強調されている。また、明示的なセグメンテーションステージなしでファントム再構成を実現したが、実臨床への応用にはさらなる検証が必要である。要旨からは、実環境での精度や一般化に関する議論は不明である。

6. 次に読むべき論文は？

要旨で参照されている関連研究として、従来のフリンジ投影プロフィロメトリ、デュアルU-Netベースライン（MaskNet + DepthNet）、既製の単眼深度モデルが挙げられる。また、VQ-VAEやU-Netの基礎論文も関連する。具体的な論文タイトルは要旨に記載がないため、同分野の定番として、単眼深度推定のためのMonodepth2や、構造光のためのフリンジ投影法のサーベイ論文が考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Wayne Wonseok Rodgers, Xiangyi Le, Seonghoon Jang, Shuwen Wei, Justin Opfermann, Michael Kam, Axel Krieger, Jin U. Kang

分類: eess.IV, cs.RO, physics.optics

原文アブストラクト

Significance. Accurate intraoperative depth perception is important for autonomous and semi-autonomous robotic laparoscopic surgery. Conventional fringe projection profilometry can achieve millimeter-scale accuracy but often requires multi-shot acquisition, digital-micromirror-device projection, and projector-camera synchronization, complicating integration into compact laparoscopic systems. Aim. To develop a synchronization-free, single-shot depth-sensing platform using a passive LED-illuminated binary mask and a VQ-VAE prior with a custom U-Net depth head. Approach. A compact projection module was coupled to one channel of a dual-channel laparoscope, while the second channel imaged the fringe-illuminated target. A Zivid 3D camera acquired reference depth for 722 paired phantom images. Zivid depth maps were reprojected into the SSLE image frame for supervised training and evaluation. The VQ-VAE encoded each input into a discrete latent representation, and a latent-space U-Net predicted depth without a separate mask-prediction branch. Results. Using a fixed train/validation/test split, the proposed model achieved an MAE of 3.70 mm, AbsRel of 0.0326, delta=1.1 accuracy of 0.962, and delta=1.1^2 accuracy of 0.970. It achieved lower MAE than the dual U-Net MaskNet + DepthNet baseline and outperformed off-the-shelf monocular depth models in MAE, AbsRel, and threshold accuracy. The pipeline operated at 26.0 Hz over 301 consecutive frames on an NVIDIA A100 GPU. Conclusions. The LED-illuminated binary-pattern platform with latent-space depth reconstruction enables synchronization-free, video-rate endoscopic depth estimation. Results demonstrate Zivid-referenced phantom reconstruction without an explicit segmentation stage, while emphasizing the importance of dataset size and SSLE-Zivid calibration accuracy.

arXivで原文を読む →arXiv概要ページ

← 論文一覧