日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

手術支援/遮蔽復元arXiv:2611.13971

TransGHOST: 眼科マイクロサージェリーにおける器具遮蔽領域のリアルタイム・非合成再構成

TransGHOST: Real-Time, Synthesis-Free Reconstruction of Instrument-Occluded Regions in Ophthalmic Microsurgery

シェア:XThreadsFacebookLINEはてブBluesky

手術器具で隠れた組織領域を、生成AIによる合成ではなく幾何変換による参照フレームの再サンプリングでリアルタイムに復元し、画素ごとの信頼度と由来を提示する手法を提案した。

詳しい要約

1. どんなもの?

- 眼科マイクロサージェリー中の術具による遮蔽(instrument occlusion)領域を、生成(synthesis)に頼らず再構成するパイプライン TransGHOST の提案。 - 因果的(causal)かつ reference-guided な再構成で、非生成の safe mode がリアルタイム動作する。 - 復元値は記録フレームを可視領域のみでフィットした幾何変換で再サンプリングして得る。 - 画素ごとの confidence と provenance を提供し、支持できない画素は abstention として明示する。

2. 先行研究と比べてどこがすごい?

- Generative inpainting は遮蔽物を除去できるが欠損内容を合成で置換するため、visual provenance が重要な場面に不適。 - 多くの video inpainter は future frames に依存しオンライン動作できない。 - TransGHOST は非生成・因果的でオンライン動作し、provenance と confidence を保持する点が異なる。 - 検証では LaMa に対し matched-mask 評価で 3.45 dB の masked PSNR 優位。

3. 技術・手法の肝は?

- 非生成 safe mode:可視領域のみにフィットした幾何変換で記録フレームを再サンプリングして復元値を得る。 - 因果的・reference-guided なパイプラインで、future frames を用いずオンライン処理。 - 画素ごとの confidence と provenance を出力し、不支持画素は abstention としてマーク。 - region-aware reference selection により、候補 reference 自体が遮蔽され得る場合も選択を改善。

4. どうやって有効だと検証した?

- 犬の白内障手術の新規 veterinary clinical corpus(画素レベルの instrument・anatomy ラベル付き)で評価。 - 遮蔽領域のみをスコアリングし、各 scoring target がシステムに与えた reference と異なることを検証。 - Safe mode は masked PSNR 31.89 dB、masked SSIM 0.915、median 51.7 ms/95th-percentile 85.5 ms。 - 事前宣言した held-out cohort(segmentation 学習から除外した instrument cutouts)で masked PSNR 29.83 dB。 - validation の matched-mask 評価で LaMa より 3.45 dB 優位、region-aware reference selection は recency より 3.60 dB 改善。

5. 議論はある?

- reference-age 解析により、TransGHOST が対象とする短時間・反復的な遮蔽の動作可能区間を定義。 - 生成に依らないため visual provenance を保てる一方、支持できない画素は abstention となる点が特性。 - 評価は獣医臨床コーパス(犬の白内障手術)に限定され、他領域への一般化は要旨からは不明。 - ヒト眼科手術や他術具・他手技での性能は要旨からは不明。

6. 次に読むべき論文は?

- LaMa(比較対象の generative inpainting 手法)。 - video inpainting 手法(future frames 依存の既存手法群、具体名は要旨からは不明)。 - reference-guided reconstruction/region-aware reference selection の関連研究(具体名は要旨からは不明)。 - 眼科マイクロサージェリーの intraoperative scene perception に関する研究(具体名は要旨からは不明)。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Niran Nataraj, Maina Sogabe, Masamichi Yamashita, Norihiko Ito, Kenji Kawashima

分類: eess.IV, cs.AI, cs.CV, cs.RO

原文アブストラクト

Intraoperative scene perception in ophthalmic microsurgery is limited by instrument occlusion: when a tool enters the high-magnification field, it conceals tissue from both the surgeon and the perception components of robot-assisted systems that process the video. Generative inpainting can remove the occluder but replaces the missing image content with synthesis, which is unsuitable when visual provenance matters. Many video inpainters also depend on future frames and cannot operate online. We present TransGHOST, a causal reference-guided reconstruction pipeline whose non-generative safe mode operates in real time. Every restored value is obtained by resampling a recorded frame using geometric transforms fitted only to visible regions. The system provides per-pixel confidence and provenance and marks unsupported pixels as abstentions. We evaluate TransGHOST on a new veterinary clinical corpus of canine cataract surgery with pixel-level instrument and anatomy labels. Only the occluded region is scored, and each scoring target is verified to differ from the reference supplied to the system. Safe mode reaches 31.89 dB masked PSNR and 0.915 masked SSIM at 51.7 ms median and 85.5 ms 95th-percentile latency. On a pre-declared held-out cohort using instrument cutouts excluded from segmentation training, it reaches 29.83 dB masked PSNR, while matched-mask evaluation on validation shows a 3.45 dB advantage over LaMa. Region-aware reference selection improves masked PSNR by 3.60 dB over recency when candidate references can themselves be occluded. Reference-age analysis further defines the operating interval for the brief, repeated occlusions targeted by TransGHOST.

  1. 1パナソニックHDら、ロボット操作AI「T-Rex」を共同開発 12タスクで平均成功率65%研究・技術
  2. 2Hugging Face、ロボット学習基盤「LeRobot v0.7.0」を公開 対話操作と大規模データ学習に対応新製品・発表
  3. 3NVIDIA、Vera CPUのエージェント処理性能を公表 x86比で速度・電力効率を比較半導体・GPU
  4. 4Agility、SPAC合併でナスダック上場資金調達
  5. 5AgiBot、基盤モデル「GO-3 Preview」を発表 身体性AIの3ベンチマークで首位新製品・発表
PR本紙発行元 EmplifAI