日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

触覚arXiv:2611.21057

手首情報を統合した触覚表現による接触の多いマニピュレーション

WiTac: Wrist-Informed Tactile Representations for Contact-Rich Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

触覚信号と手首視覚・手の動きを事前学習で深く融合し、VLAポリシーに組み込むことで接触の多い操作タスクの成功率を向上させた研究。

詳しい要約

1. どんなもの?

- 接触の多いマニピュレーション(contact-rich manipulation)向けの触覚表現学習手法。 - 触覚信号と手首視点(wrist views)・手の動きを融合した pretrained encoder「WiTac」を提案。 - 下流の VLA policies(GR00T N1.7, π_{0.5})に条件付けする形で利用。

2. 先行研究と比べてどこがすごい?

- 触覚と手首視点を別々に与えるのではなく、policy 注入前に融合する点が特徴。 - 触覚特徴を視覚的文脈に接地させ、より正確な接触表現を得る。 - 手首視点を用いない tactile encoder と比べ、成功率で +18.8% / +7.5% 向上。 - vision-only の base policy と比べ +28.8% / +15.0% 向上。

3. 技術・手法の肝は?

- 触覚信号・手の動き・wrist views を深く融合する pretrained encoder。 - 行動生成の前に接触表現を学習(pretrain)する設計。 - 学習には約300時間の SharpaDex データを使用。 - 下流 VLA policy は WiTac 表現に条件付けされる。

4. どうやって有効だと検証した?

- 4つの contact-rich manipulation タスクで評価。 - GR00T N1.7 と π_{0.5} の両方で vision-only base を上回る成功率を確認。 - wrist-free tactile encoder との比較でも優位を確認。 - offline 分析で接触記述の精度、task-contact 識別、触覚ノイズ下の特徴安定性、類似接触からの action-direction readout を検証。

5. 議論はある?

- wrist vision の導入が接触記述の精度・識別性・安定性・行動方向の読み出しを改善することを offline 分析で示す。 - 一方、実機展開やタスク一般化、計算コスト等の詳細は要旨からは不明。

6. 次に読むべき論文は?

- GR00T N1.7 - π_{0.5} - wrist-free tactile encoder(比較対象) - vision-only base policies(比較対象)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Haotian He, Yiyang Chen, Congsheng Xu, Wenchao Yue, Mingze Ye, Shuai Chen, Yi Yang, Yaping Li, Haonan Wang, Weinan E, Wenzhao Lian, Zhijie Deng

分類: cs.RO

原文アブストラクト

Similar tactile contacts can call for different corrections depending on the configuration of the hand, object and target. Rather than supplying touch and wrist vision separately, fusing them before policy injection better grounds tactile features in visual context, yielding more accurate contact representations. We introduce Wrist-Informed Tactile Representations (WiTac), a pretrained encoder that learns such representations before action generation. Pretrained on nearly 300 hours of SharpaDex data, WiTac deeply fuses tactile signals with hand motion and wrist views into a comprehensive contact representation. Conditioning downstream VLA policies (GR00T N1.7 and $π_{0.5}$) on WiTac substantially improves task success over vision-only base policies across four contact-rich manipulation tasks (+28.8% and +15.0% on average), and further outperforms a wrist-free tactile encoder by 18.8% and 7.5%, respectively. Offline analyses further show that incorporating wrist vision yields more accurate contact descriptors, stronger joint task-contact discrimination, greater feature stability under tactile noise, and clearer action-direction readout from similar contacts.Project page: https://wrist-informed-tactile-representations.github.io/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2Google DeepMind、ロボット向けAIを発表新製品・発表
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  5. 5SoftBank主導、Agile Robotsが5億ドル調達 NVIDIAと日立も参加資金調達

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI