日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
手術フェーズ認識arXiv:2610.35005

Swin Transformerと時間平滑化による腹腔鏡下胆嚢摘出術の術式フェーズ認識

Shifted Window Temporal Transformer for YOLO-Guided Phase Recognition in Laparoscopic Cholecystectomy Surgery

シェア:XThreadsFacebookLINEはてブBluesky

Swin TransformerとTemporal Transformer Encoderを組み合わせ、YOLOv11sによる術具検出と並行して手術フェーズを安定に認識する枠組みを提案し、Cholec80で92%の精度を達成した。

詳しい要約

1. どんなもの?

- 腹腔鏡下胆嚢摘出術(Laparoscopic Cholecystectomy)を対象とした手術フェーズ認識と術具位置推定の統合フレームワーク。 - Swin Transformer と Temporal Transformer Encoder (TTE) を組み合わせたフェーズ認識部と、並列に動作する YOLOv11s によるリアルタイム術具検出部から構成。 - フェーズのちらつき(phase flickering)を抑えるため causal temporal smoothing を適用し、安定したワークフロー予測を目指す。 - 知的手術室における状況認識・術中意思決定・チームワーク・手術記録の支援を動機とする。

2. 先行研究と比べてどこがすごい?

- 従来の AI 手法はフェーズ遷移時に予測が変動しやすく、臨床利用の妨げになっていた点を課題として明示。 - Cholec80 上でフェーズ認識精度 92%、macro average F1-score 0.86 を達成。 - CNN 系の EndoNet (81.7%)、SV-RCNet (85.3%)、temporal convolutional/transformer 系の TeCNO (88.6%)、Trans-SVNet (90.9%)、LoViT (91.5%) を上回ると報告。 - 術具検出も mAP@0.5 = 0.863 を同時に達成し、フェーズ認識と術具位置推定を並列で行う点が特徴。

3. 技術・手法の肝は?

- Swin Transformer で時空間特徴を抽出し、Temporal Transformer Encoder (TTE) で時系列文脈をモデル化して手術フェーズを認識。 - 並列に YOLOv11s ネットワークを配置し、術具のリアルタイム位置推定を実施。 - causal temporal smoothing を適用することで、フェーズ遷移時の予測のちらつきを抑制し安定したワークフロー予測を生成。 - 詳細なアーキテクチャや smoothing の具体的アルゴリズムは要旨からは不明。

4. どうやって有効だと検証した?

- Cholec80 データセットを用い、手術フェーズ認識と術具検出を同時に評価。 - フェーズ認識は overall accuracy 92%、macro average F1-score 0.86 を報告。 - 術具検出は mAP@0.5 = 0.863 を報告。 - 先行手法(EndoNet, SV-RCNet, TeCNO, Trans-SVNet, LoViT)との精度比較により有効性を主張。 - 交差検証や被験者分割などの詳細な評価プロトコルは要旨からは不明。

5. 議論はある?

- 高いフェーズ認識率と術具位置推定精度が得られ、結果の信頼性が確認されたと主張。 - 知的手術支援や状況認識の強化、将来的なロボット手術応用の基盤になり得ると述べる。 - 一方で、phase flickering の定量的評価、causal temporal smoothing の遅延や誤りの影響、他施設・他術式への汎化性、リアルタイム性の詳細は要旨からは不明。 - コード公開予定(URL 記載)であり再現性への配慮が見られる。

6. 次に読むべき論文は?

- EndoNet - SV-RCNet - TeCNO - Trans-SVNet - LoViT - Swin Transformer - YOLOv11s - Cholec80 データセット関連の手術フェーズ認識研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Sheekar Banerjee, Md. Shahabuddin, Md. Mahbub Hasan Akash, Nabilah, Mohammad Arafat Hussain

分類: cs.CV

原文アブストラクト

Intelligent operating rooms require accurate awareness of surgical workflow for better intra-operative decisions, teamwork, and surgical documentation. Therefore, accurately recognizing surgical phase during surgery is crucial. However, previous artificial intelligence-based methods provide fluctuating predictions for the transitions, restricting their clinical use. To address this challenge, we propose a clinically meaningful framework that integrates a Swin Transformer and Temporal Transformer Encoder (TTE) for effective surgical phase recognition and a parallel YOLOv11s network for real-time surgical instrument localization. To avoid phase flickering and to produce stable workflow predictions, a causal temporal smoothing is applied. The proposed framework is tested on the Cholec80 dataset for the simultaneous recognition of the surgical phases and instruments. The overall phase recognition accuracy of this model was 92%, and the macro average F1-score was 0.86. This performance surpasses CNN based methods such as EndoNet (81.7%) and SV-RCNet (85.3%), as well as temporal convolutional and transformer-based approaches including TeCNO (88.6%), Trans-SVNet (90.9%), and LoViT (91.5%). Besides, the module of instrument detection achieved mAP@0.5 = 0.863. The reliability of the results is confirmed, obtaining a high recognition rate of the workflows, and a high accuracy of the localization of the instruments. The proposed framework can serve as a foundation for intelligent surgical assistance, enriching situation awareness, and potential robotic surgery applications. Code will be made publicly available at: https://github.com/ac005sheekar/LapChol-Surgery-Swin-Cholec80

関連論文

PR本紙発行元 EmplifAI