PSR: 接触の多いマニピュレーションのための予測的感覚運動表現学習
PSR: Predictive Sensorimotor Representation Learning for Contact-Rich Manipulation
マルチモーダルな感覚運動信号から将来の接触ダイナミクスを予測する表現を事前学習し、VLAモデルの行動生成に組み込むことで、力覚を要する接触の多い操作タスクの成功率を大幅に向上させた研究。
詳しい要約
1. どんなもの？
2. 先行研究と比べてどこがすごい？
3. 技術・手法の肝は？
4. どうやって有効だと検証した？
5. 議論はある？
6. 次に読むべき論文は？
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Shengbao Li, Peng Xu, Chao Tang, Hao Wei, Jiaheng Wang, Hong Yin, Jiangtao Chen, Jinxuan Zhu, Zhong Zhou, Mengfan Wang, Tingguang Li
分類: cs.RO
原文アブストラクト
Contact-rich manipulation requires policies to generate precise actions by reasoning over contact forces, robot configurations, and interaction histories beyond visual observations. Existing methods passively condition on force feedback rather than actively predicting future contact dynamics, limiting their ability to generate high-precision actions. To address this problem, we introduce Predictive Sensorimotor Representation (PSR) learning, a framework that learns a hierarchy of predictive representations from multimodal sensorimotor signals and integrates them into the action stream of a visuomotor policy. Specifically, during a pretraining stage, a multimodal Transformer is trained to learn a hierarchy of predictive representations by jointly forecasting future interaction dynamics. The learned hierarchy subsequently augments the action stream, enabling the resulting policy to exploit contact-relevant cues at multiple depths. We further instantiate PSR within a Vision-Language-Action (VLA) model, resulting in PSR-VLA, and evaluate it on six real-world contact-rich manipulation tasks. Experimental results show that PSR-VLA achieves 91.7% overall success, improving over $π_{0.5}$, ForceVLA-$π_{0.5}$, and ForceVLA2-$π_{0.5}$ by 30.0, 22.5, and 19.2 percentage points, respectively. These results demonstrate the effectiveness of the proposed PSR for force-aware, contact-rich manipulation. Videos of the tasks and stability tests are available at https://psr-vla.pages.dev/.
関連論文
- SeeQ: 長期的ロボットマニピュレーションのための汎用価値関数の学習マニピュレーション
- グリッパを考慮した不規則物体の自動高密度パッキングマニピュレーション
- 事前学習から熟達へ：最小限の人的介入で長期的マニピュレーションを実現する実世界サブタスクRLマニピュレーション
- ForceTwin: 計測された人間の操作からロボットマニピュレーションのための物理情報デジタルツインを構築マニピュレーション
- 並列シミュレーションにおけるロボットマニピュレーションのための視覚言語報酬学習のスケーリングマニピュレーション
- 細粒度物体操作に向けて：SAM3誘導視覚運動ポリシーと持続的メモリ学習および集中視覚条件付けマニピュレーション