日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

触覚arXiv:2611.10490

接触の多い操作では手首カメラの代わりに触覚センサーが有効

Tactile Sensors Are an Effective Substitute for Wrist Cameras in Contact-Rich or Occluded Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

手首カメラの代わりに指装着型の低コスト触覚アレイを用い、視覚触覚ポリシーで接触の多い操作や遮蔽された操作の成功率を大幅に改善できることを実機6タスクで示した。

詳しい要約

1. どんなもの?

- 本研究は、接触が多い(contact-rich)または遮蔽を伴うマニピュレーションにおいて、手首カメラ(wrist camera)の代替として指装着型触覚センサ(tactile sensor)が有効かを検証した研究。 - 低コストの触覚アレイ(tactile arrays)2つを visuotactile ACT policy に組み込み、訓練・展開の両方で wrist images を用いない構成を採用。 - 配置(placement)、挿入(insertion)、遮蔽下の回収(occluded retrieval)、持続的接触を伴う道具使用(sustained-contact tool use)を含む6つの実世界タスク群で評価。

2. 先行研究と比べてどこがすごい?

- 学習ベースのマニピュレーションポリシーは、外部視点を補う近接視覚フィードバックとして wrist-mounted cameras に依存してきた。 - しかし contact-rich な操作では接触が wrist cameras からも隠れ得る点が従来の限界。 - 本研究は、指装着 tactile sensors が視覚的アクセスなしに接触を直接測定できる点を活かし、wrist cameras なしでもその性能優位を回復できることを示した。 - 同一デモ・ポリシー構成・最適化設定の下で比較し、tactile が wrist camera を上回る成功率を示した点が新規。

3. 技術・手法の肝は?

- 低コストの tactile arrays を2つ指に装着し、visuotactile ACT policy に統合。 - 入力は scene vision と egocentric vision に touch を加えた構成で、訓練・展開時に wrist images を使用しない。 - contact-rich な3タスクでは、デモ・ポリシーアーキテクチャ・最適化設定を固定したまま、wrist-camera と tactile の有無を独立に変化させる比較設計を採用。

4. どうやって有効だと検証した?

- 6つの実世界タスク群(placement、insertion、occluded retrieval、sustained-contact tool use)で評価。 - contact-rich な3タスクで、wrist camera 追加は wrist images なしの視覚のみに対し成功率を18.3–28.3ポイント改善。 - 代わりに tactile sensing を追加すると31.7–60.0ポイント改善し、3タスクすべてで wrist cameras 付き vision-only ポリシーより高い成功率を観測。 - うち2タスクでは Holm 補正検定で有意な優位性を確認。

5. 議論はある?

- 結果は、評価した contact-rich 設定において指装着 tactile sensing が wrist cameras の有効な代替となり得ることを支持。 - 一方、対象は6タスク群・特定の ACT policy 構成に限られ、他タスクや他ポリシーへの一般化は要旨からは不明。 - tactile と wrist camera の併用効果や、遮蔽・接触の種類ごとの限界については要旨からは不明。

6. 次に読むべき論文は?

- 本研究で比較対象となった wrist-mounted cameras を用いる視覚ベースのマニピュレーションポリシー(例: ACT 系の visuomotor policy)。 - 本研究が統合した visuotactile ACT policy および tactile arrays を用いた先行 visuotactile 研究。 - contact-rich manipulation における tactile sensing の活用に関する関連研究(具体的な文献名は要旨からは不明)。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Aijia Yang, Arsh Tangri, Sergey Zakharov, Krishna Murthy Jatavallabhula

分類: cs.RO

原文アブストラクト

Learned manipulation policies often rely on wrist-mounted cameras for close-range visual feedback that complements external views of the workspace. However, contact-rich manipulation requires establishing and maintaining contacts that can remain hidden even from wrist cameras. Tactile sensors mounted on fingers can reliably and directly measure contact, without needing visual access. In this work, we show that this feedback enables policies to recover the performance advantage of wrist cameras using scene and egocentric vision together with touch. Our approach incorporates two low-cost tactile arrays into a visuotactile ACT policy, without wrist images during training or deployment. We evaluate six real-world task families spanning placement, insertion, occluded retrieval, and sustained-contact tool use. On three contact-rich tasks, we independently vary wrist-camera and tactile availability while keeping the demonstrations, policy architecture, and optimization settings fixed. Adding wrist cameras improves success by 18.3-28.3 percentage points over vision without wrist images. Adding tactile sensing instead improves success by 31.7-60.0 percentage points and yields higher observed success than vision-only policies with wrist cameras on all three tasks, with significant advantages on two under Holm-corrected tests. These results support finger-mounted tactile sensing as an effective alternative to wrist cameras in the evaluated contact-rich settings.

関連論文

  1. 1パナソニックHDら、ロボット操作AI「T-Rex」を共同開発 12タスクで平均成功率65%研究・技術
  2. 2Hugging Face、ロボット学習基盤「LeRobot v0.7.0」を公開 対話操作と大規模データ学習に対応新製品・発表
  3. 3NVIDIA、Vera CPUのエージェント処理性能を公表 x86比で速度・電力効率を比較半導体・GPU
  4. 4Agility、SPAC合併でナスダック上場資金調達
  5. 5智元、清華大学などとCELを発表 96台のロボットで群体学習を検証研究・技術
PR本紙発行元 EmplifAI