手術映像理解のための構造化メモリMemSurg

- ロボット支援手術における surgical video understanding のためのフレームワーク MemSurg を提案する研究。 - 類似した surgical view が異なる action や procedural stage を反映しうる点を問題視。 - frame-centric prompting では過去の観察履歴が利用できないという課題に対処。 - 観察を記憶してから推論する枠組みで、scene と workflow の理解を狙う。

- 比較対象として SurgRAW と GPT-4o を用いた評価で 10.43 percentage point の改善。 - frame-centric prompting に対し、履歴を保持する structured memory を導入する点が差分。 - 既存の EndoChat に対しても inference-time plug-in として 7.04 point を追加。 - 単一モデル依存ではなく、記憶を再利用可能な手続き的証拠とする点を主張。

- structured memory graph に timestamped な entity categories、locations、motion cues、interaction summaries を格納。 - chronological links で直近の文脈を保持し、entity-associated links で反復する観察を手続き横断的に接続。 - task-adaptive retrieval により evidence-grounded prompts を生成し、scene と workflow の推論に供給。 - frozen inference と memory-conditioned supervised fine-tuning の両方をサポート。

- robot-assisted prostatectomy と2つの complementary surgical benchmarks で評価。 - SurgRAW と GPT-4o の比較で 10.43 percentage point の gain を報告。 - 同一条件の Qwen3-VL-8B fine-tuning で memory conditioning が 6.52 point を追加。 - inference-time plug-in が EndoChat に 7.04 point を追加したと報告。

- structured memory を surgical video understanding における再利用可能な手続き的証拠の源として位置づけ。 - frozen inference と fine-tuning の双方で有効性を示す点を主張。 - 具体的な限界や失敗事例、計算コスト、memory graph 構築コストの議論は要旨からは不明。 - コードは公開予定と記載。

- 比較対象の SurgRAW。 - 比較対象の GPT-4o を用いた評価。 - memory-conditioned supervised fine-tuning で用いた Qwen3-VL-8B。 - inference-time plug-in の対象である EndoChat。 - 関連する surgical video understanding の benchmark 群。