把持/物理特性推定/視覚触覚融合2026/8/21arXiv:2608.21355

ViTacPhys: 人間の視覚・触覚デモから物体の物理特性を推定し適応的把持を実現するフレームワーク

ViTacPhys: Physical Property-Aware Grasping from Human Visual-Tactile Demonstrations

人間の操作デモから物体の質量・摩擦係数・剛性を推定し、その物理特性に基づいてロボットの把持ポリシーを適応させる視覚・触覚融合フレームワークを提案した。

詳しい要約

1. どんなもの？

ViTacPhysは、人間の操作デモンストレーションから物体の質量・摩擦係数クラスと連続的な剛性を推定する視覚-触覚統合フレームワークとデータ収集システムである。推定した物理特性を条件として適応的把持を行うオンラインモジュールとしてロボットに展開される。

2. 先行研究と比べてどこがすごい？

従来の視覚ベースの行動モデルは複雑な操作に強いが、物体の物理特性を明示的に活用しない。ViTacPhysは、人間のデモから物理特性を推定し、それをポリシーに条件付けすることで、適応的把持を実現する点が新しい。

3. 技術・手法の肝は？

手法の肝は、時間的視覚-触覚モデリング、クロスアテンションによるマルチモーダル融合、視覚言語モデルから得られるセマンティック事前知識の組み合わせである。また、人間からロボットへのドメイン転移を、限られたロボットテレオペレーションデータ、ロボットスタイルのビデオ拡張、行動を一致させた人間のデモを用いて行う。

4. どうやって有効だと検証した？

60個の剛体および変形可能物体で訓練し、既知物体では質量分類精度97.2%、摩擦係数分類精度98.8%、剛性MAPE 5.51%を達成。既知カテゴリの未見物体ではそれぞれ87.5%、97.5%、9.08%を達成。ロボット展開では、分布内物体で総把持成功率95.0%、分布外物体で83.4%を達成。また、ACTと比較して、力プロファイルが人間のテレオペレーションにより一貫していることを示した。

5. 議論はある？

要旨からは、物理特性推定の精度が分布外物体で低下すること、把持成功率が分布外で低下すること、およびACTとの比較が成功した物体に限定されていることなどが議論点として考えられるが、詳細は不明。

6. 次に読むべき論文は？

要旨で参照されているACT（Action Chunking with Transformers）や、視覚-触覚融合、物理特性推定に関する関連研究が挙げられる。具体的には、視覚言語モデルを用いたセマンティック事前知識の活用や、人間のデモからのロボット学習に関する論文が関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yiwen Liu, Yujun Zhu, Kui Jia, Zhao Liao, Yangwei You, Shuaijun Wang

分類: cs.RO

原文アブストラクト

Recent vision-based action models have demonstrated strong capabilities in complex manipulation, but they rarely leverage explicit object physical properties to adapt their policies. We introduce ViTacPhys, a visual-tactile framework and data acquisition system that estimates object mass and friction-coefficient classes, together with continuous stiffness, from human manipulation demonstrations. Trained on data from 60 rigid and deformable objects, ViTacPhys combines temporal visual-tactile modeling, cross-attention multimodal fusion, and a semantic prior derived from a vision-language model. On seen objects, it achieves 97.2% mass classification accuracy, 98.8% friction-coefficient classification accuracy, and a stiffness mean absolute percentage error (MAPE) of 5.51%. On held-out objects from known categories, it achieves 87.5% mass accuracy, 97.5% friction-coefficient accuracy, and a stiffness MAPE of 9.08%. We transfer ViTacPhys from the human domain to the robot domain using limited robot teleoperation data, robot-style video augmentation, and human demonstrations with matched actions, and deploy it as an online module for adaptive grasping. The resulting physical-property-conditioned policy achieves total grasping success rates of 95.0% on in-distribution objects and 83.4% on out-of-distribution objects. For out-of-distribution objects successfully grasped by both methods, its force profiles are more consistent with human teleoperation than those produced by ACT. These results demonstrate the feasibility of explicitly estimating and conditioning on object physical properties for real-world adaptive grasping.

arXivで原文を読む →arXiv概要ページ

← 論文一覧