日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

触覚arXiv:2611.20718

TaF-Foundation: 力覚に基づくクロスセンサ触覚表現

TaF-Foundation: Wrench-Grounded Cross-Sensor Tactile Representations

シェア:XThreadsFacebookLINEはてブBluesky

接触を6次元力覚で物理的に基準化し、24種の触覚センサから1億件超のデータを収集して、センサ間で共有可能な触覚表現を学習する基盤モデルを構築した。

詳しい要約

1. どんなもの?

- 触覚センシングの異種ハードウェア間転移を可能にする触覚表現学習フレームワーク TaF-Foundation の提案。 - 接触は Newtonian mechanics に支配されるため、6次元 wrench を共通の物理基準として触覚表現を接地する。 - 24種類・4系統のセンサから1億組以上の触覚観測と wrench 計測を収集する専用取得プラットフォームを構築。 - 学習した表現を操作に用いる TaF-Policy も導入し、視覚・ロボット状態と統合して action chunks を生成する。

2. 先行研究と比べてどこがすごい?

- 従来はセンサ機構や観測形式の不均一性が cross-hardware transfer を妨げていた。 - 本研究は触覚同士の直接ペアリングを必要とせず、全センサの触覚観測を wrench 計測と対にする shared physical supervision を実現。 - 中核ベンチマークで single-frame force RMSE を最強 baseline 比 17.1% 削減、cross-sensor retrieval R@1 を 13.11 ポイント改善。 - 操作実験でも TaF-Policy が simulation 3タスク平均 51.33%、real-world 4タスク平均 46.25% の成功率を達成(最強 baseline は 47.33%、23.75%)。

3. 技術・手法の肝は?

- 6次元 wrench を共通物理基準とし、センサ間の触覚-to-触覚対応付けなしに shared physical supervision を構成。 - sensor-specific input adaptation と shared tactile encoder を組み合わせ、wrench 再構成を学習させる。 - これにより異種センサ観測を接触物理に接地した共有連続特徴空間へ写像する。 - TaF-Policy は触覚特徴を視覚観測・ロボット状態と統合し action chunks を生成する。

4. どうやって有効だと検証した?

- wrench estimation、cross-sensor retrieval、未見センサへの few-shot adaptation、ロボティックマニピュレーションで評価。 - 中核ベンチマークで single-frame force RMSE と cross-sensor retrieval R@1 を最強 baseline と比較。 - 操作実験は simulation 3タスクと real-world 4タスクで TaF-Policy の成功率を baseline と比較。 - 詳細な実験設定・被験センサ構成は要旨からは不明。

5. 議論はある?

- 6次元 wrench への接地が異種センサ間の共通表現として有効であることを結果が示唆。 - 1億組超・24センサ・4系統という規模のデータ収集プラットフォームが学習を支える。 - 限界・失敗要因・汎化範囲・real-world 性能差の要因分析は要旨からは不明。 - 未見センサへの few-shot adaptation の詳細条件やコストは要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照・比較されている baseline や関連手法の具体名は要旨からは不明。 - 同分野の定番として、vision-language-action 系の action chunking 手法や tactile representation learning の代表的研究を次に読む候補とする。 - 6次元 wrench を共通監督信号とする触覚表現学習および cross-sensor retrieval の関連研究を参照されたい。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jiaming Jiang, Yuzhe Huang, Baokun Yang, Hao Liang, Li Gao, Haoran Guo, Pei Lin, Shengcheng Luo, Chenxi Xiao, Wanlin Li, Ziyuan Jiao

分類: cs.RO

原文アブストラクト

Tactile sensing is essential for contact-rich manipulation, yet heterogeneous sensing mechanisms and observation formats hinder cross-hardware transfer. Since physical contact is governed by Newtonian mechanics, we ground tactile representations in six-dimensional wrenches, establishing a common physical reference across sensing mechanisms. Specifically, we pair tactile observations from all sensors with wrench measurements, enabling shared physical supervision without requiring direct tactile-to-tactile pairing between sensors. To support learning at scale, we develop a dedicated acquisition platform and collect over 100 million paired tactile observations and wrench measurements from 24 sensors spanning four families of sensing principles. Building on this dataset, our framework combines sensor-specific input adaptation with a shared tactile encoder. By learning to reconstruct wrenches, the encoder maps observations from different sensors into a shared, continuous feature space grounded in contact physics. To leverage these representations for manipulation, we introduce TaF-Policy, which integrates tactile features with visual observations and robot states to generate action chunks. We evaluate the learned representations through wrench estimation, cross-sensor retrieval, few-shot adaptation to unseen sensors, and robotic manipulation. On the core benchmark, our method reduces single-frame force RMSE by 17.1% and improves cross-sensor retrieval R@1 by 13.11 percentage points over the strongest baseline. In manipulation experiments, TaF-Policy achieves average success rates of 51.33% across three simulated tasks and 46.25% across four real-world tasks, compared with 47.33% and 23.75%, respectively, for the strongest baselines evaluated on the same task sets. Project page: https://mrjiangjm.github.io/TaF-Foundation/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2Google DeepMind、ロボット向けAIを発表新製品・発表
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  5. 5SoftBank主導、Agile Robotsが5億ドル調達 NVIDIAと日立も参加資金調達

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI