日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
手術ロボットarXiv:2609.25625

術具装着型センサによる腹腔鏡下虫垂切除の両手操作学習:ロボット実演なしでの生体適用

From Instrument-Mounted Demonstrations to In-Vivo Execution: Learning Bimanual Laparoscopic Appendectomy Without Robot-Collected Demonstrations

シェア:XThreadsFacebookLINEはてブBluesky

術者が使う腹腔鏡器具にセンサを取り付け、その動きから手術ロボットの両手操作方策を学習し、生きたウサギでの虫垂切除に成功した。

詳しい要約

1. どんなもの?

- 手持ち腹腔鏡器具での手術動作を記録し、手術ロボットのpolicy学習に用いるend-to-end pipelineを提案。 - 器具軸に装着するsurgical instrument-state loggerを開発し、inertial sensor・time-of-flight sensor・Hall sensorからposeとjaw stateを外部カメラ/トラッカーなしで復元。 - 記録したdemonstrationでdiffusion policyを訓練し、生きたウサギでbimanual laparoscopic appendectomyを検証。

2. 先行研究と比べてどこがすごい?

- 従来のsurgical robot learningはrobot-collected demonstrationsに依存しがちだが、本研究は外科医自身の手持ち器具から記録したdemonstrationのみで訓練・選択・展開が可能と示す。 - robotはsensor calibrationのtiming referenceとexecutorに限定され、demonstration収集を行わない点が新しい。 - 2つのdemonstration corporaを公開し、今後のsurgical robot learning研究を支援。

3. 技術・手法の肝は?

- 器具軸装着型loggerがinertial sensor、time-of-flight sensor、Hall sensorからposeとjaw stateを推定。 - data pipelineが各sensor channelのlatencyをrobot ground truthに対して測定し、channel間をalignしてobservation-action pairsを形成。 - fine-tuned DINOv3 backboneを用いたdiffusion policyを訓練し、ex-vivo rabbit appendixのdepth mapから再構成したphysics simulatorでのclosed-loop rolloutsで設計選択。 - その後、4匹のlive rabbitから得た849 in-vivo demonstrationsでpolicyを再訓練し、electrosurgeryをarmedした状態で別の4匹に展開。

4. どうやって有効だと検証した?

- ex-vivo rabbit appendixのdepth mapから再構成したphysics simulatorでclosed-loop rolloutsを行い、policy設計を選択。 - 4匹のlive rabbitから849 in-vivo demonstrationsを収集して再訓練。 - 追加の4匹のlive rabbitでelectrosurgeryをarmedしてdeployし、外科医がsurgical phaseを選択する条件下で4匹中3匹でappendectomyを完了。

5. 議論はある?

- 外科医自身の器具から記録したdemonstrationが、in vivoでのbimanual surgical policyの訓練・選択・展開に十分であることを示す。 - robotはtiming referenceとexecutorに限定され、demonstrationを収集しない。 - 限界や失敗要因、一般化可能性、倫理的側面などは要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法としてdiffusion policy、DINOv3、surgical robot learning、laparoscopic appendectomy、in-vivo validationなどの定番文献を次に読むべき。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Dongho Yee, Juahn Oh, Jinseok Lee, Jiyul Lee, Yechan Seo, Seong Jeong, Minsung Kim, Seonho Shim, Younghoon Noh, Hyuk Choi, Youngbin Kong, Kyu Eun Lee, Hyoun-Joong Kong

分類: cs.RO

原文アブストラクト

Most minimally invasive surgery is still performed with hand-held laparoscopic instruments, and the surgeon's instrument kinematics are lost when the operation ends; only the endoscope video is kept. This paper presents an end-to-end pipeline that captures this motion in the operating room and uses it to train a surgical robot policy, validated on live animals. We introduce a surgical instrument-state logger that mounts on the shaft of a standard laparoscopic instrument and recovers its pose and jaw state from an inertial sensor, a time-of-flight sensor and a Hall sensor, with no external camera or tracker. A data pipeline measures the latency of every sensor channel against a robot ground truth and aligns the channels before forming observation-action pairs. On these demonstrations we train a diffusion policy with a fine-tuned DINOv3 backbone, selecting its design by closed-loop rollouts in a physics simulator reconstructed from depth maps of an ex-vivo rabbit appendix. The policy is then retrained on 849 in-vivo demonstrations from four live rabbits and deployed on four additional live rabbits with electrosurgery armed. With the surgeon selecting the surgical phase, the policy completed the appendectomy in three of the four animals. The results show that demonstrations recorded from a surgeon's own instruments are sufficient to train, select and deploy a bimanual surgical policy in vivo. The robot serves only as the timing reference for sensor calibration and as the executor, and collects no demonstrations. Both demonstration corpora are released to support future surgical robot learning research.

関連論文

PR本紙発行元 EmplifAI