方策蒸留2026/10/22arXiv:2610.31010

腹腔鏡ロボット操作における状態から視覚への方策蒸留のための分布マッチング再検討

Revisiting Distribution Matching for State-to-Vision Policy Distillation in Laparoscopic Robotic Manipulation

特権的な状態観測で訓練した教師方策から、RGB画像と固有感覚のみで動く視覚ベースの方策へ蒸留する枠組みを提案し、腹腔鏡手術操作タスクで有効性を示した。

詳しい要約

1. どんなもの？

- 腹腔鏡下手術ロボット操作における state-to-vision policy distillation のフレームワークを提案する研究 - privileged state で学習した state-based policy を teacher とし、RGB 観測と robot proprioceptive information を入力とする vision-based policy を student として蒸留する - 模擬環境で複数の surgical manipulation タスクを対象に評価する

2. 先行研究と比べてどこがすごい？

- 従来の state-based RL は正確な物理状態に依存し、手術環境での取得が困難という問題がある - 純粋な vision-based RL は手術操作タスクでは学習が難しいことを実験的に示す - IL は多数の expert demonstrations を必要とするが、低侵襲手術では収集が困難 - 提案手法は IL より少ない expert demonstrations で済み、RL より優れた性能を導入できる点が特徴

3. 技術・手法の肝は？

- privileged observations を用いた state-based policy を teacher として利用する - student は RGB observations と robot proprioceptive information から学習する vision-based policy である - state から vision への distillation により、明示的な state estimation や手作業の perception pipeline を回避しつつ、タスクに関連する視覚表現の獲得を狙う - 詳細な蒸留損失やアーキテクチャは要旨からは不明

4. どうやって有効だと検証した？

- 模擬環境において複数の surgical manipulation タスクで広範な実験を実施 - 汎用 RL 手法による vision-based policy 学習は腹腔鏡下手術ロボット操作では困難であることを示す - 提案する state-to-vision policy distillation がタスク間でより一貫して安定した性能をもたらすことを実験結果で示す

5. 議論はある？

- 純粋な vision-based RL の困難さと、IL の expert demonstrations 依存という課題を踏まえ、蒸留による代替アプローチの有効性を議論 - 実手術環境ではなく模擬環境での評価に留まる点や、実環境への一般化、必要となる demonstrations 数などの詳細は要旨からは不明

6. 次に読むべき論文は？

- 要旨で直接参照・比較されている個別研究名は不明 - 関連手法として state-based RL、vision-based RL、imitation learning (IL)、policy distillation の代表的文献を次に読むべき候補として挙げる

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Mingyu Sheng, Jianan Fan, Dongnan Liu, Guoyan Zheng, Ron Kikinis, Weidong Cai

分類: cs.RO, cs.CV

原文アブストラクト

End-to-end control policies trained via Reinforcement Learning (RL) have emerged as an alternative to conventional surgical robotic control approaches, with recent studies exploring state-based policies trained on privileged state observations. However, such approaches rely on precise physical states that are difficult to obtain reliably in surgical environments. Vision-based RL provides an alternative by learning manipulation policies directly from RGB observations, avoiding explicit state estimation and manually engineered perception pipelines while enabling policies to acquire task-relevant visual representations. Nevertheless, obtaining vision-based policies via pure RL methods for surgical manipulation remains challenging. Thus, imitation learning (IL) becomes another solution, yet it requires a large number of expert demonstrations, which are difficult to obtain in minimally invasive surgery. In this work, we propose a framework for state-to-vision policy distillation in laparoscopic robotic manipulation. Specifically, a state-based policy with privileged observations is employed as the teacher, and a vision-based policy learns from RGB observations and robot proprioceptive information, which requires less expert demonstrations than IL and introduces superior performance than RL methods. We conduct extensive experiments on various surgical manipulation tasks in the simulated environment. Experimental results show that, in the context of laparoscopic robotic manipulation, training vision-based policies with general-purpose RL methods is challenging, whereas our proposed state-to-vision policy distillation leads to more consistent and stable performance across tasks.

arXivで原文を読む →arXiv概要ページ

← 論文一覧