デジタルツイン駆動VR遠隔操作：多視点空間知覚による手術ロボット支援

本論文は、手術ロボット向けに digital twin と VR を組み合わせた遠隔操作プラットフォームを提案する。 - digital twin を手術環境の markerless perception から生成し、HMD にストリーミング表示する。 - これにより multi-view rendering と natural motion-parallax cues を提供し、video pass-through の単一視点・奥行き知覚制限を克服する。 - VR hand controllers を用いて操作ワークスペースを拡大し、instrument control の robustness と stability を向上させる。

先行研究では HMD を portable console として使う提案があるが、video pass-through による endoscope 画像表示に留まり、単一視点と奥行き知覚の制限があった。 - また多くの先行システムは hand tracking を採用している。 - 本研究は digital twin ベースの multi-view rendering と VR hand controllers により、これらを改善する。 - 15名のユーザスタディで state-of-the-art な HoloLens 2 mixed reality baseline に対し path length を86%、jerk を95%削減し、depth perception confidence は traditional console と同等以上を達成した。

技術の肝は以下の通り。 - markerless perception により手術環境の digital twin を生成する。 - 生成した digital twin を HMD にストリーミングし、multi-view rendering と natural motion-parallax cues を提供する。 - これによりユーザの hand posture と instrument alignment を厳密に一致させる必要をなくす。 - VR hand controllers を用いて teleoperation workspace を拡大し、instrument control の robustness と stability を高める。

da Vinci Research Kit (dVRK) 上で15名の参加者によるユーザスタディを実施した。 - 比較対象は state-of-the-art な HoloLens 2 mixed reality baseline。 - 結果、path length を86%、jerk を95%削減した。 - また全条件で depth perception confidence が traditional console と同等以上であることを示した。

要旨からは不明。 - 議論や限界、今後の課題についての記述は要旨には含まれていない。

要旨で参照・比較されている研究として、HMD を portable console として用いる先行研究、video pass-through を用いる手法、hand tracking を採用する先行システム、HoloLens 2 mixed reality baseline が挙げられる。 - また da Vinci Research Kit (dVRK) が検証プラットフォームとして用いられている。 - 同分野の定番として robot-assisted minimally-invasive surgery (RMIS) や digital twin 関連の研究が次に読むべき候補となる。