日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
マニピュレーションarXiv:2609.24507

TACIT: 巧みな操作における空間的注意のための触覚接触スーパービジョン

TACIT: Tactile Contact Supervision for Spatial Attention in Dexterous Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

テレオペレーションの触覚接触データを用いて空間的注意を教師なしで学習し、視触覚拡散ポリシーに組み込むことで、物体配置やペグ挿入タスクの成功率を大幅に向上させた。

詳しい要約

1. どんなもの？

- 視覚運動政策の課題: 少数のデモンストレーションから学習した場合、物体位置の変化に追従できない問題がある。 - TACITの提案: 触覚接触を空間注意の監督に用いる手法。 - テレオペレーションデモから測定した触覚接触を利用し、追加の点注釈なしで空間注意を監督。 - 訓練時のみガウシアンターゲットを使用し、推論時は触覚観測を入力として保持。 - 実ロボットベンチマークでボール配置とペグ挿入タスクを評価。

2. 先行研究と比べてどこがすごい？

- 既存の明示的注意手法: 人間の注釈や視覚モデルから空間事前分布を取得。 - TACIT: 触覚接触を監督信号として使用し、追加の点注釈が不要。 - 性能比較: ボール配置で66.7%成功、ペグ挿入で73.3%成功。 - 入力一致の3D視触覚融合(10.0%, 20.0%)や視覚のみのDP3(20.0%, 43.3%)を大幅に上回る。 - アーキテクチャ一致の対照群よりも優れ、監督の寄与を支持。

3. 技術・手法の肝は？

- 触覚接触を空間注意の監督に利用: テレオペレーションデモから測定した触覚接触を使用。 - ガウシアンターゲット: 先行するカメラ点群上にガウシアンターゲットを生成。 - 注意ヘッド: ガウシアンターゲットで注意ヘッドを監督し、そのプール出力が視触覚拡散政策を条件付ける。 - 訓練時のみターゲットを使用し、推論時は触覚観測を入力として保持。 - 接触前と接触時の監督に一貫した順序性は見られない。

4. どうやって有効だと検証した？

- 実ロボットベンチマーク: タスクごとに10デモ、5つの配置領域で評価。 - ボール配置: TACIT 66.7%成功 vs 入力一致3D視触覚融合10.0% vs 視覚のみDP3 20.0%。 - ペグ挿入: TACIT 73.3%成功 vs 入力一致3D視触覚融合20.0% vs 視覚のみDP3 43.3%。 - 接近領域: 全30試行で150 mmのパーム・トゥ・オブジェクト接近領域に12秒以内に到達。 - 残りの失敗は到着後に発生。 - 実ボールとシミュレーテッドペグで3つの訓練シードで評価。

5. 議論はある？

- 触覚接触が少数デモからの接近行動に対する有効な空間監督を提供することを示す。 - 接触前と接触時の監督に一貫した順序性は見られない。 - 評価ワークスペース内での結果であり、一般化可能性は要旨からは不明。 - 残りの失敗は到着後に発生し、接近後の操作に課題が残る。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究: 入力一致の3D視触覚融合、視覚のみのDP3、アーキテクチャ一致の対照群。 - 関連手法: 視触覚拡散政策、明示的注意を用いた視覚運動政策。 - 同分野の定番: 触覚センシングを統合したロボット操作、拡散政策。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yanhou Lai, Fucai Zhu, Ruiqiang Wang, Koichi Hashimoto

分類: cs.RO

原文アブストラクト

Visuomotor policies trained from a few demonstrations may reproduce demonstrated trajectories without reliably following changes in object position. Existing approaches with explicit attention typically obtain spatial priors from human annotation or visual models. We introduce TACIT (tactile contact informs attention), which uses measured tactile contacts from teleoperated demonstrations to supervise spatial attention without additional point annotation. Gaussian targets over preceding camera point clouds supervise an attention head whose pooled output conditions a visuotactile diffusion policy. Targets are used only during training; tactile observations remain inputs at inference. In the primary real-robot benchmark, with ten demonstrations per task and five demonstrated placement regions, TACIT achieves 66.7% success on ball placement and 73.3% on peg insertion, compared with 10.0% and 20.0% for input-matched 3D visuotactile fusion and 20.0% and 43.3% for vision-only DP3. TACIT enters the 150 mm palm-to-object approach region within 12 seconds in all 30 trials per task; all remaining failures occur after arrival. Across three training seeds on real ball and simulated peg, TACIT outperforms input-matched fusion and an architecture-matched control without explicit attention supervision, supporting the contribution of supervision beyond branch capacity. Pre-contact and contact-time supervision show no consistent ordering. These results demonstrate that measured tactile contact provides effective spatial supervision for approach behavior from few demonstrations within the evaluated workspace.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI