テレオペレーション/触覚2026/8/17arXiv:2608.16572v1

ViHaTeleop: 器用な操作学習のための低コスト・軽量な視覚-触覚テレオペレーションシステム

ViHaTeleop: A Low-Cost, Lightweight Visual-Haptic Teleoperation System for Dexterous Manipulation Learning

低コストで軽量な視覚-触覚テレオペレーションシステムを開発し、触覚フィードバックが接触が重要なタスクの成功率を向上させることを実証した。

詳しい要約

1. どんなもの？

ViHaTeleopは、低コスト（$550）かつ軽量（0.7 kg）な視覚-触覚テレオペレーションシステムであり、SLAMベースの手首追跡、カメラベースの手追跡、およびLinear Resonant Actuators (LRA)による指ごとの振動触覚フィードバックを備える。LED照明、魚眼ハンドカメラ、触覚を考慮したリターゲティング制約などの設計選択を含み、Franka + LEAP Hand + 9DTactに実環境とシミュレーション環境の両方で展開される。多様なデモ収集から視覚-触覚ポリシー訓練までのパイプラインを提供する。

2. 先行研究と比べてどこがすごい？

従来の低コストテレオペレーションシステムは接触クリティカルなデモ収集が困難であり、高品質なデモを得るには高価なハードウェアが必要だった。ViHaTeleopは、低コスト・軽量でありながら視覚と触覚のフィードバックを統合し、接触クリティカルなタスクでのデモ収集を改善する点が新しい。また、シミュレーション環境に触覚プロキシを統合し、視覚-触覚ポリシー訓練までの完全なパイプラインを提供する点も先行研究と異なる。

3. 技術・手法の肝は？

手法の肝は、SLAMベースの手首追跡とカメラベースの手追跡を組み合わせたハイブリッド追跡、指ごとの振動触覚フィードバックを提供するLRA、および触覚を考慮したリターゲティング制約である。また、LED照明と魚眼カメラにより手の追跡精度を向上させ、シミュレーションでは軽量な深度カメラベースの触覚プロキシをIsaac Simに統合し、視覚-触覚ポリシー訓練を可能にしている。

4. どうやって有効だと検証した？

9名の参加者による6つの接触クリティカルタスクで、触覚あり/なしの条件を比較した。触覚により全タスクで成功率が向上（+2.2〜+15.6パーセントポイント）し、完了時間への影響はタスク依存だった。主観評価では接触の明確さと把握の自信が実環境とシミュレーションの両方で有意に向上（Wilcoxon signed-rank, p<0.05）。さらに、収集したデモから視覚-触覚ポリシーを訓練し、peg-in-holeタスクで視覚のみより+17パーセントポイントの成功率向上を確認した。

5. 議論はある？

触覚フィードバックは成功率を向上させるが、完了時間への影響はタスク依存であり、タスクによっては触覚が時間効率を悪化させる可能性がある。また、主観評価は有意に向上したが、客観的な触覚の質や長期的な学習効果については要旨からは不明。さらに、シミュレーションと実環境の差や、システムの一般化可能性についての議論は要旨に含まれていない。

6. 次に読むべき論文は？

要旨で参照されている関連研究として、Learning from demonstration、テレオペレーションシステム、視覚-触覚ポリシー学習、Isaac Sim、SLAM、Linear Resonant Actuators (LRA)、Franka、LEAP Hand、9DTactなどが挙げられる。次に読むべき論文としては、これらの手法を詳細に説明した原著論文や、視覚-触覚模倣学習の最新研究が考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Fucai Zhu, Yanhou Lai, Paul Maestre, Koichi Hashimoto

分類: cs.RO

原文アブストラクト

Learning from demonstration is a promising approach for dexterous manipulation, but collecting high-quality contact-critical demonstrations remains difficult with low-cost teleoperation hardware. We present ViHaTeleop, a lightweight (0.7 kg), low-cost (\$550) visual-haptic teleoperation system with SLAM-based wrist tracking, camera-based hand tracking, and finger-wise vibrotactile feedback through Linear Resonant Actuators (LRA). The system includes several design choices (LED illumination, fisheye hand camera, and tactile-aware retargeting constraints) and is deployed on Franka + LEAP Hand + 9DTact in both real and simulated environments. Under matched with/without-haptic conditions with nine participants across six contact-critical tasks, haptics improved success rates across all tasks (+2.2 to +15.6 percentage points), while completion-time effects were task-dependent. Subjective ratings showed significant gains in contact clarity and grasp confidence in both simulation and real-world settings (Wilcoxon signed-rank, $p<0.05$). We also integrate a lightweight depth-camera-based tactile proxy in Isaac Sim, enabling a full pipeline from multi-modal demonstration collection to visual-tactile policy training. Preliminary downstream validation by training visual-tactile policies from collected demonstrations shows tactile cues benefit contact-critical subtasks (peg-in-hole: +17 percentage points over vision-only).

arXivで原文を読む →arXiv概要ページ

← 論文一覧