手術ロボット学習2026/8/11arXiv:2608.11204v1

外科用WAM：データ効率的な手術ロボット学習のためのワールド・アクションモデル

Surgical WAM: A World-Action Model for Data-Efficient Surgical Robot Learning

手術ロボットの操作学習において、動作ラベル付きデモデータが不足する問題に対し、動作ラベルなしの内視鏡ビデオで事前学習する統一生成モデルを提案し、閉ループ制御で成功率を向上させた。

詳しい要約

1. どんなもの？

Surgical WAMは、内視鏡ビデオなどのaction-freeな動画から視覚ダイナミクスを事前学習し、限られたaction-labeledなデモンストレーションで微調整することで、閉ループの手術操作ポリシーを学習する統一生成モデルである。Cosmos Policyを基盤とし、将来の内視鏡観測と実行可能な手術ロボットのaction chunkを同時に予測する。展開時には、予測したaction chunkの短いプレフィックスを実行し、その結果の観測から再計画するreceding-horizonコントローラとして機能する。

2. 先行研究と比べてどこがすごい？

既存の手術用world modelはビデオをシミュレーションやポリシー評価に使うことが多く、学習したダイナミクスを閉ループ制御に直接活用していなかった。Surgical WAMは、action-freeビデオ事前学習を閉ループ制御に直接結びつけ、固定予算のaction-labeledデモンストレーション下での有効性を実証した点が新しい。

3. 技術・手法の肝は？

手法の肝は、Cosmos Policyを基盤とした統一生成モデルにより、将来の観測とaction chunkを共同で予測すること。まずaction-freeビデオで視覚ダイナミクスを学習し、その後固定予算のaction-labeledデータで微調整する。展開時には、予測したaction chunkの短いプレフィックスを実行し、観測から再計画する閉ループ制御を行う。

4. どうやって有効だと検証した？

4つのシミュレーション手術操作タスクで検証した。ビデオ事前学習により、平均成功率が63.5%から77.8%に向上し、PegTransferでは絶対20ポイントの改善が見られた。特に接触が多く両腕協調を要するタスクで大きな改善が見られた。

5. 議論はある？

要旨からは、action-freeビデオ事前学習が限られたaction supervision下での手術ロボット制御に転移可能な視覚ダイナミクス事前知識を提供することを示したが、実機での検証や、より複雑なタスクでのスケーラビリティ、ビデオデータの多様性の影響などについては不明である。

6. 次に読むべき論文は？

要旨で参照されているCosmos Policy、および関連する手術用world modelの研究（例：手術ビデオを用いたシミュレーションやポリシー評価に関する研究）が挙げられる。具体的な論文名は要旨からは不明だが、Cosmos Policyと手術用world modelの分野の論文を読むことが推奨される。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Wenrui Bao, Tianyun Jiang, Zhiben Chen, Ser-Nam Lim, Peter D. Peng, Yuzhang Shang

分類: cs.RO, cs.AI, cs.CV

原文アブストラクト

Learning reliable surgical manipulation policies is bottlenecked by the scarcity of action-labeled demonstrations: teleoperated surgical robot (e.g., dVRK) trajectories with synchronized kinematics are costly to collect, while surgical tasks demand precise contact handling, long-horizon reasoning, and bimanual coordination. Endoscopic video is comparatively inexpensive and abundant relative to synchronized video--kinematics trajectories, and a natural way to exploit it is to learn world models of surgical scenes. However, existing surgical world models use video primarily for simulation or policy evaluation, and rarely translate the learned dynamics into closed-loop control. This gap raises our central question: under a fixed budget of action-labeled demonstrations, does action-free video pretraining improve closed-loop surgical manipulation? To answer it, we introduce the Surgical World-Action Model (Surgical WAM), a unified generative model built on Cosmos Policy that jointly predicts future endoscopic observations and executable surgical robot action chunks. Surgical WAM first learns surgical visual dynamics from action-free video and is then fine-tuned on the fixed action-labeled budget; at deployment, it acts as a closed-loop, receding-horizon controller that executes a short prefix of each predicted action chunk and replans from the resulting observation. On a suite of four simulated surgical manipulation tasks, video pretraining improves the average success rate from 63.5% to 77.8%, including an absolute gain of 20 percentage points on PegTransfer, with the largest improvements on contact-rich and bimanual tasks. These results demonstrate that action-free video provides transferable visual dynamics priors for learning surgical robot control with limited action supervision, positioning data-efficient video pretraining as a practical path toward scaling up surgical robot learning.

arXivで原文を読む →arXiv概要ページ

← 論文一覧