日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
手術認識arXiv:2608.22972

手術トリプレット認識の最適化:知識駆動型Mixture-of-Expertsソリューション

Optimize Surgical Triplet Recognition: A Knowledge-Driven Mixture-of-Experts Solution

シェア:XThreadsFacebookLINEはてブBluesky

手術映像から器具・動作・対象のトリプレットを認識するタスクで、成分間・カテゴリ間の最適化競合を解消し、知識駆動のMoE機構で表現を強化するフレームワークを提案した。

詳しい要約

1. どんなもの?

本論文は、ロボット支援手術における文脈認識のための surgical action triplet recognition(器具・動詞・対象の組み合わせ認識)タスクを扱う。既存手法が抱える3つの問題(成分レベルの最適化競合、カテゴリレベルの最適化競合、ドメイン知識の欠如)に対処するため、知識駆動型学習に基づく Mixture-of-Experts-guided Co-Optimization (MoeCo) フレームワークを提案する。

2. 先行研究と比べてどこがすごい?

既存手法は、成分間の特徴空間が絡み合うことで最適化競合が生じ、またデータ不均衡によりカテゴリ間の競合が生じる。さらに、ドメイン知識の活用が不足し、解釈性や頑健性が限定的である。本提案は、成分特化アダプタによる特徴分離、勾配調整によるカテゴリ不均衡への対処、そして知識駆動型 mixture-of-experts による動的知識統合を統合した点が新しい。

3. 技術・手法の肝は?

手法の核は3点。(1) component-tailored adapter により、空間・時間領域でタスク固有の特徴を分離し、成分特化を促進。(2) coordinated gradient learning strategy により、正負勾配を適応的に再バランスし、稀なカテゴリの認識を向上。(3) knowledge-driven mixture-of-experts 機構により、multimodal large language model から得られる知識を活性化されたエキスパートを介して動的に統合し、表現を強化する。

4. どうやって有効だと検証した?

公開データセット CholecT45 と CholecT50 を用いて広範な実験を実施し、提案する co-optimization パイプラインの有効性と、知識駆動型 mixture-of-experts 機構による動的先行知識統合の優位性を確認した。

5. 議論はある?

要旨からは、提案手法の限界や将来課題についての具体的な議論は不明。ただし、知識駆動型アプローチの解釈性向上や、データ不均衡への対処が有効であることが示唆されるが、計算コストや実時間性への影響などは言及されていない。

6. 次に読むべき論文は?

要旨で参照されている関連研究として、surgical action triplet recognition の既存手法(例:CholecT45 や CholecT50 を用いた先行研究)や、mixture-of-experts を用いた一般的な手法、multimodal large language model を手術理解に応用した研究が挙げられる。具体的な論文名は要旨にないため、同分野の定番として、'Surgical triplet recognition' や 'Mixture of Experts' に関する論文を読むとよい。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yiyi Zhang, Yuchen Yuan, Ying Zheng, Jialun Pei, Jinpeng Li, Zheng Li, Pheng-Ann Heng

分類: cs.CV

原文アブストラクト

Surgical action triplet recognition constitutes a critical task in context-aware robot-assisted surgery, facilitating automatic surgical action perception by identifying instrument, verb, target, and their association. However, existing works struggle to analyze such complex surgical scenes due to three main issues: (1) component-level optimization conflicts caused by entangled feature spaces, (2) category-level optimization conflicts arising from severe data imbalance, and (3) lack of domain knowledge guidance that limits model interpretability and robustness. To address these challenges, we propose a Mixture-of-Experts-guided Co-Optimization (\textit{MoeCo}) framework powered by knowledge-driven learning. Within the co-optimization pipeline, to first mitigate component-level conflicts, we introduce a component-tailored adapter that disentangles task-specific features across spatial-temporal regimes, facilitating effective component specialization. Next, we develop a coordinated gradient learning strategy to handle category-level conflicts, which adaptively rebalances positive-negative gradients to enhance the perception of rare categories. Notably, inspired by surgical domain expertise, we introduce a knowledge-driven mixture-of-experts mechanism that dynamically integrates multimodal large language model-guided knowledge via activated experts, thereby enriching the co-optimization pipeline with more expressive and robust representations. Extensive experiments on the public CholecT45 and CholecT50 datasets confirm the effectiveness of the proposed co-optimization pipeline and the superiority of dynamic priors integration via the knowledge-driven mixture-of-experts mechanism.