触覚2026/9/14arXiv:2609.15198

PredTac: 予測触覚による接触の多いマニピュレーションの学習

PredTac: Learning Contact-Rich Manipulation with Predicted Touch

触覚センサの実測値の代わりに、視覚とロボット状態から触覚を予測してポリシー学習・実行に使う枠組みを提案し、実機で実測触覚に迫る成功率を達成した。

詳しい要約

1. どんなもの？

- 接触の多いマニピュレーションで、物理的な触覚センサーを使わずに、視覚とロボット状態から触覚状態を予測するPredTacを提案。 - 予測された触覚をポリシー学習と実行の明示的なインターフェースとして利用。 - 触覚予測器を触覚監督で訓練し、下流のポリシー学習や実行時に測定触覚入力を不要にする。 - シミュレーションと実機で3つの接触リッチタスクを評価。

2. 先行研究と比べてどこがすごい？

- 物理触覚センサーのハードウェア、キャリブレーション、同期、メンテナンスのコストを回避。 - 視覚ベースラインよりシミュレーションで8.0-13.7ポイント改善。 - 実機で予測触覚ACTは平均70.0%成功、測定触覚ACTの72.2%に迫り、視覚ACTの21.1%を大幅に上回る。 - 予測触覚がポリシー入力として有用な接触情報を提供できることを示す。

3. 技術・手法の肝は？

- 触覚予測器を触覚監督で訓練し、因果的な視覚観測とロボット状態から触覚状態を推論。 - 予測触覚をポリシー学習と実行の明示的なインターフェースとして使用。 - 下流のポリシー訓練や実行時に測定触覚入力を必要としない。 - 予測接触内容がポリシー性能に与える影響を調査。

4. どうやって有効だと検証した？

- シミュレーションと実機で3つの接触リッチタスク（USB、Barbed-spike、Valve）を評価。 - シミュレーションの目標オフセット評価で、予測触覚ポリシーはUSB 27.0%、Barbed-spike 52.0%、Valve 44.7%の成功率。 - 実機で予測触覚ACTはUSB挿入70.0%、Barbed抽出50.0%、Valve回転90.0%、3タスク平均70.0%。 - 固定ポリシー介入で、予測接触の空間構造が性能に敏感であることを示し、固定値分布での空間再配置がValve成功率を10.7ポイント低下させる。

5. 議論はある？

- 予測触覚は接触リッチマニピュレーションに有用な接触情報を提供できるが、性能は予測接触の空間構造に敏感。 - 測定触覚ACTと比較して若干の性能差があるが、視覚ACTより大幅に優れる。 - 物理触覚センサーをポリシー入力として必要としない利点がある。 - 要旨からは、予測触覚の一般化や他のタスクへの適用可能性についての議論は不明。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究：visual baseline、measured-touch ACT、visual ACT。 - 関連手法：ACT (Action Chunking with Transformers)、tactile sensing、contact-rich manipulation。 - 同分野の定番：vision-based manipulation、tactile-based manipulation、sim-to-real transfer。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Weijia Fan, Daqiang Guo

分類: cs.RO

原文アブストラクト

Contact-rich manipulation benefits from tactile feedback, yet physical tactile sensors introduce hardware, calibration, synchronization, and maintenance costs that complicate policy learning and deployment. We formulate predicted touch as an alternative to measured tactile input and present PredTac, a framework that learns to infer tactile states from causal visual observations and robot states and uses the predicted touch as an explicit interface for policy learning and execution. A tactile predictor is first trained with tactile supervision and then used to provide contact information without requiring measured tactile input during downstream policy training or execution. We evaluate PredTac across three contact-rich manipulation tasks in simulation and on a real robot, and further examine how policy performance depends on the predicted contact content. In simulation goal-offset evaluations, predicted-touch policies achieve 27.0%, 52.0%, and 44.7% success on USB, Barbed-spike, and Valve, respectively, improving over the visual baseline by 8.0-13.7 percentage points. On the real robot, predicted-touch ACT achieves 70.0%, 50.0%, and 90.0% success on USB insertion, Barbed extraction, and Valve rotation, respectively, with a three-task mean of 70.0%, approaching measured-touch ACT at 72.2% and substantially outperforming visual ACT at 21.1%. Fixed-policy interventions further show that performance is sensitive to the spatial structure of predicted contact, with spatial rearrangement at fixed value distributions reducing Valve success by 10.7 percentage points. These results demonstrate that predicted touch can provide useful contact information for contact-rich manipulation without requiring tactile sensing as a policy input.

arXivで原文を読む →arXiv概要ページ