日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
触覚arXiv:2610.39314

言語空間に接地した力覚事前学習による外在接触知覚

Language-Grounded Force/Torque Pretraining for Extrinsic Contact Perception

シェア:XThreadsFacebookLINEはてブBluesky

両腕6軸力覚の履歴を言語空間と整合させて事前学習し、物体重量や把持状態、接触・支持状態の認識や新しい接触イベントへの効率的適応を可能にした研究。

詳しい要約

1. どんなもの?

- 把机器人抓取物体与环境接触/接触变化(extrinsic contact)的感知问题,作为 bilateral six-axis force/torque 历史的可复用表征学习来处理的研究。 - 核心主张:通过将 force/torque 历史与冻结的语言空间对齐,可以预训练出语义结构化的物理状态表征。 - 监督信号来自模拟的 pick-and-place 交互,而非人工标注。 - 覆盖三类下游用途:文本原型读出(action、object weight、grasp interaction)、真实环境中的 contact/support-state 识别、connector insertion 的适配学习。

2. 先行研究と比べてどこがすごい?

- 先行研究多依赖 vision 或局部 contact geometry,但 extrinsic contact 并非总能直接观测;本文明确把 force/torque 作为信息源。 - 难点在于 force/torque 会随 object weight、grasp configuration、robot motion 变化,能否形成可复用表征此前不明确;本文给出肯定性证据。 - 与依赖垂直力符号反转规则的 baseline 相比,真实 placement 中无需更新 encoder 即实现 contact/support-state 识别并取得更优表现。 - 对 pretraining 中未出现的 connector insertion,low-rank adaptation 比 from scratch 更 data-efficient。

3. 技術・手法の肝は?

- 使用 bilateral six-axis force/torque histories 作为输入模态。 - 用模拟 pick-and-place 交互自动生成监督,将 force/torque 表征与 frozen language space 对齐,形成语义结构化物理表征。 - 下游以 text-prototype readout 方式读出 robot action、object weight、grasp interaction。 - 真实环境用 unlabeled calibration 做 contact/support-state 识别,encoder 不更新。 - 新事件(connector insertion)采用 low-rank adaptation 进行参数高效适配。

4. どうやって有効だと検証した?

- 模拟中在 unseen objects 上验证 text-prototype readout 可读出 robot action、object weight、grasp interaction。 - 真实世界 placement 中,用 unlabeled calibration 验证 contact 与 support-state 识别,并与 vertical-force sign-reversal rule baseline 比较,表现更优。 - connector insertion(pretraining 中不存在的事件)上,比较 low-rank adaptation 与 training from scratch 的 data efficiency。 - 具体数据集规模、成功率数值等细节:要旨からは不明。

5. 議論はある?

- 表明 force/torque histories 既能直接读出已知物理状态,也能高效适配新的 extrinsic-contact 事件。 - 局限与边界条件(如跨 embodiment、跨传感器、真实噪声与标定误差的影响)在要旨中未展开:要旨からは不明。 - 为何 language alignment 能带来语义结构、以及表征中哪些因素被解耦,要旨未给出分析:要旨からは不明。 - 与 vision 或 contact geometry 的融合效果未提及:要旨からは不明。

6. 次に読むべき論文は?

- 要旨で直接参照/比較されているのは vertical-force sign-reversal rule baseline、low-rank adaptation、training from scratch。 - 関連手法として、frozen language space への alignment を用いる vision-language pretraining 系(例:CLIP 型の対照学習)や、robot learning における parameter-efficient adaptation(LoRA 系)を次に読む候補として挙げる。 - force/torque を用いた contact perception の従来研究(extrinsic contact estimation 系)も比較対象として読む価値がある。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Kazuki Takahashi, Hiroaki Murakami, Ryota Sakuma, Mitsuhiro Kamezaki, Matthew Ishige, Yoshihiro Kawahara

分類: cs.RO

原文アブストラクト

Fine manipulation requires robots to recognize when a grasped object makes or changes contact with its environment, yet such extrinsic contact is not always directly observable from vision or local contact geometry. Force and torque signals carry this information, but also vary with object weight, grasp configuration, and robot motion, leaving it unclear whether they can provide a reusable representation of physical state. Here we show that bilateral six-axis force/torque histories can be pretrained as a semantically structured physical representation by aligning them with a frozen language space using supervision generated from simulated pick-and-place interactions. On unseen objects in simulation, the learned representation supports text-prototype readout of robot action, object weight, and grasp interaction. In real-world placement, unlabeled calibration enables contact and support-state recognition without updating the encoder, outperforming a vertical-force sign-reversal rule baseline. For connector insertion, an event absent from pretraining, low-rank adaptation improves data-efficient learning over training from scratch. These results show that force/torque histories can support both direct readout of known physical states and efficient adaptation to new extrinsic-contact events.

関連論文

PR本紙発行元 EmplifAI