日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

触覚arXiv:2611.23963

CoRA-VTLA:接触誘導注意とクエリ可能な応答メモリによる触覚ポストトレーニング

CoRA-VTLA: Contact-Guided Attention and Queryable Response Memory for Tactile Post-Training

シェア:XThreadsFacebookLINEはてブBluesky

事前学習済みVLAモデルに軽量な触覚モジュールを追加し、接触応答を記憶・参照する仕組みと接触領域への注意誘導で、精密把持タスクの成功率を向上させた研究。

詳しい要約

1. どんなもの?

- 精密把持・組立のような precision manipulation では位置ずれや力の誤差が jamming や deformation を招くため、接触フィードバックが重要。 - 事前学習済み VLA (vision-language-action) モデルを触覚で post-training し、接触変化に適応させる手法 CoRA-VTLA を提案。 - 軽量な tactile modules を pretrained VLA に追加する構成で、MuJoCo タスク・UniVTAC ベンチマーク・実機タスクで評価。

2. 先行研究と比べてどこがすごい?

- 単一の tactile observation では直近行動への応答が曖昧になる問題、および post-training 中の直接的な tactile fusion が action expert の visual attention を分散させ接触領域への配分を減らす問題を指摘。 - 同一センサ入力での direct tactile fusion が MuJoCo 3 タスクで 50% 平均成功率なのに対し、CoRA-VTLA は 73.33% を達成。 - 触覚 post-training により pretrained VLA が接触変化へ適応できることを示した点が差分。

3. 技術・手法の肝は?

- queryable action-response memory により直近の contact responses を検索し、action expert が即時の tactile feedback と組み合わせられるようにする。 - contact-guided gaze supervision により、tactile semantic token の visual attention を fingertip contact に対応する画像領域へ集中させる。 - これら軽量 tactile modules を pretrained VLA に付加する post-training 構成。

4. どうやって有効だと検証した?

- MuJoCo の 3 タスクで平均成功率 73.33%(direct tactile fusion は 50%)。 - 公開 UniVTAC benchmark の optical-tactile タスクで 67% 成功。 - 実機 3 タスクで平均 66.7% 成功。

5. 議論はある?

- 直接 tactile fusion では action expert の visual attention が分散し接触領域への配分が減るという議論を提示。 - 単一 tactile observation の曖昧性を memory で補う設計の妥当性を結果で示唆。 - 限界や失敗要因、センサ依存性などの詳細は要旨からは不明。

6. 次に読むべき論文は?

- direct tactile fusion との比較対象となった tactile fusion を用いる VLA post-training 研究。 - ベンチマークとして用いられた UniVTAC およびその optical-tactile タスク関連研究。 - 基盤となる pretrained VLA モデル(具体名は要旨からは不明)の原論文。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Chengye Song, Rui Song, Shengqi Wang, Jiawei Zhang, Hongzhou Wang, Xueyang Guo, Yang Liu

分類: cs.RO

原文アブストラクト

In precision manipulation, small errors in alignment or force can cause jamming or deformation, making contact feedback essential for adapting pretrained vision-language-action (VLA) models to these tasks. A single tactile observation leaves the response to recent actions ambiguous. Direct tactile fusion during post-training can also disperse the action expert's visual attention and reduce the share it allocates to contact regions. To address these challenges, CoRA-VTLA augments pretrained VLAs with lightweight tactile modules. A queryable action-response memory retrieves recent contact responses so that the action expert can combine them with immediate tactile feedback. Contact-guided gaze supervision concentrates the visual attention of the tactile semantic token on image regions corresponding to fingertip contact. CoRA-VTLA achieves 73.33% mean success across three MuJoCo tasks, compared with 50% for direct tactile fusion with the same sensor inputs. It also achieves 67% success on an optical-tactile task from the public UniVTAC benchmark and 66.7% mean success across three real-robot tasks. These results show that tactile post-training helps pretrained VLAs adjust to changing contact.

関連論文

  1. 1パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3日経クロステック、NVIDIA取締役会のファンCEO解任議論を報道 同社は同日、辞任を発表業界動向
  4. 4NVIDIA、ヒトの動きをロボットに適応する「SOMA Retargeter」を紹介研究・技術
  5. 5ティアフォーとTUM、Autowareでミュンヘン大型路線バスの自動運転開発を支援提携・買収

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI