日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

手術動画検索arXiv:2611.23347

SurgCBVR: 手術動画の内容ベース動画検索のためのマルチドメインベンチマーク

SurgCBVR: A Multi-Domain Benchmark for Content-Based Surgical Video-to-Video Retrieval

シェア:XThreadsFacebookLINEはてブBluesky

眼科・腹腔鏡・ロボット支援・大腸内視鏡の4領域8データセットを統合し、手術動画同士を内容で検索する初のベンチマークを構築。既存モデルの検索性能を評価し、汎化の限界を明らかにした。

詳しい要約

1. どんなもの?

- 手術動画の内容ベース video-to-video retrieval のための初のベンチマーク SurgCBVR を提案 - 4 ドメイン(ophthalmic, laparoscopic, robotic-assisted, colonoscopy)の 8 公開データセットを統合 - 6 手技、679 症例、76,489 クリップ(106 時間)を収録 - 2 階層構成 - Scene: 同一術野状態を症例・施設を跨いで検索、74,765 クリップ・40 クラス・3 時間粒度・3 再生速度 - Workflow: フェーズ遷移や逸脱の検索・局在化、1,724 遷移クリップ

2. 先行研究と比べてどこがすごい?

- 既存の手術 computer vision は主にラベル生成であり、関連動画の検索は扱ってこなかった - 内容ベース video-to-video retrieval の手術版ベンチマークは初 - 単一データセット・単一手技に限らず 4 ドメイン・6 手技を横断 - ラベルやタイミングの shortcut を測る仕組み(固定クリップ長・フレーム数、phase-classifier oracle、duration-only baseline)を備える - 汎用・手術特化 foundation model と retrieval 手法を同一条件で比較可能にする

3. 技術・手法の肝は?

- 8 公開データセットを統合し Scene と Workflow の 2 階層タスクを定義 - Scene は 40 クラス・3 時間粒度・3 再生速度で同一術野状態を検索 - Workflow はフェーズ遷移・逸脱の検索と局在化 - 固定クリップ長・フレーム数でラベル/タイミング shortcut を制御 - phase-classifier oracle と duration-only baseline で shortcut の影響を評価 - 同一手技種に限定した within-dataset, cross-dataset, pooled-gallery retrieval を設定 - 6 汎用/手術 foundation model、2 video retrieval 手法、SurgCBVR で学習した contrastive head を評価

4. どうやって有効だと検証した?

- 6 つの汎用・手術 foundation model、2 つの video retrieval 手法、SurgCBVR 学習の contrastive head を比較 - within-dataset, cross-dataset, pooled-gallery retrieval を同一手技種内で実施 - 凍結表現は timing-only baseline をわずかに上回る程度 - 遷移検索は chance 程度 - 学習済み head はデータセット間で最大半分の精度を失う - これらの結果で現行 video 表現の限界を示し、ベンチマークの有効性を位置づけ

5. 議論はある?

- 現行の video 表現は手術検索には不十分で、timing shortcut に近い性能にとどまる - 遷移検索は chance レベルで、workflow 理解が難しいことを示す - cross-dataset での精度低下が大きく、汎化性に課題 - 固定クリップ長・フレーム数や oracle/duration baseline で shortcut を統制しているが、ラベル・タイミング依存の残存可能性は要旨からは不明 - 手術特化の表現学習や retrieval 手法の必要性を提起

6. 次に読むべき論文は?

- 要旨で比較対象として挙げられる汎用・手術 foundation model 群(具体的名称は要旨からは不明) - 評価された 2 つの video retrieval 手法(具体的名称は要旨からは不明) - contrastive learning による retrieval head の関連研究 - 手術 phase recognition / workflow analysis の研究 - 手術 video foundation model の表現学習研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Mohammad Eslami, Mousa Moradi, Negin Ghamsarian, Nazlee Zebardast, Jennifer L Lindsey, Sophia Y. Wang, Lucia Sobrin, Rishi P Singh, Tobias Elze

分類: eess.IV, cs.AI

原文アブストラクト

Hospitals record thousands of hours of surgical video annually, yet these archives remain difficult to search by content. Surgeons cannot readily retrieve similar operations, complications, or workflow events. Existing surgical computer vision primarily produces labels rather than retrieving relevant videos. We introduce SurgCBVR, the first benchmark for content-based video-to-video retrieval in surgery. It integrates eight public datasets across four domains-ophthalmic, laparoscopic, robotic-assisted, and colonoscopy-covering six procedure types, 679 cases, and 76,489 clips (106 hours). SurgCBVR comprises two tiers: Scene, retrieving the same operative state across cases and sites, and Workflow, retrieving and localizing phase transitions and deviations. Scene includes 74,765 clips spanning 40 classes, three temporal granularities, and three playback speeds; Workflow contains 1,724 transition clips. Fixed clip lengths and frame counts, together with phase-classifier oracle and duration-only baselines, help assess label and timing shortcuts. We evaluate six generic and surgical foundation models, two video retrieval methods, and contrastive heads trained on SurgCBVR, using within-dataset, cross-dataset, and pooled-gallery retrieval restricted to the same procedure type. Frozen representations barely outperform a timing-only baseline, transition retrieval approaches chance, and trained heads lose up to half their accuracy across datasets. These findings expose substantial limitations in current video representations and establish SurgCBVR as a benchmark for advancing surgery-aware retrieval.

  1. 1パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3日経クロステック、NVIDIA取締役会のファンCEO解任議論を報道 同社は同日、辞任を発表業界動向
  4. 4NVIDIA、ヒトの動きをロボットに適応する「SOMA Retargeter」を紹介研究・技術
  5. 5ティアフォーとTUM、Autowareでミュンヘン大型路線バスの自動運転開発を支援提携・買収

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI