日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
マニピュレーションarXiv:2611.03294

力覚を考慮した潜在ダイナミクスモデルによる接触の多いマニピュレーション

ForceLDM: A Force-aware Latent Dynamics Model for Contact-Rich Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

将来の力覚・オプティカルフローを特権情報として教師ネットワークから蒸留し、現在の観測のみで接触ダイナミクスを推論して行動生成を導く力覚対応の潜在ダイナミクスモデルを提案した論文。

詳しい要約

1. どんなもの？

- Contact-rich manipulation 向けの force-aware な latent dynamics model - 将来の contact と motion の dynamics を学習し、action 生成を導く枠組み - 実世界5タスクで評価されたロボット policy learning 手法

2. 先行研究と比べてどこがすごい？

- 従来の vision-only policy は contact 状態や interaction force の推論が困難 - 既存の force/tactile 併用手法は信号を補助観測として扱うのみで、将来の interaction dynamics のモデリングに十分活用していない - ForceLDM は将来 dynamics の学習を明示的に行い action 生成へ導く点が異なる

3. 技術・手法の肝は？

- 将来の観測を直接予測せず、knowledge distillation で将来 dynamics の compact 表現を学習 - teacher network は privileged な将来の force/torque と optical flow から将来 dynamic features を抽出 - student network は現在の観測のみで学習し、deployment 時に将来センサ入力なしで contact や物理 dynamics を推論 - curriculum-based progressive noise injection で将来特徴への過依存を緩和し、robustness と generalization を向上

4. どうやって有効だと検証した？

- 実世界の contact-rich manipulation 5タスクで実験 - state-of-the-art baselines と比較し ForceLDM が優位 - 新規物体への generalization と環境外乱への robustness も評価

5. 議論はある？

- 将来特徴への過依存を noise injection で緩和する設計上の議論 - 具体的な失敗事例や限界、計算コスト、teacher の privileged 信号依存性に関する詳細は要旨からは不明

6. 次に読むべき論文は？

- knowledge distillation を用いた robot policy learning 関連研究 - force/tactile sensing を統合した contact-rich manipulation 手法 - latent dynamics model による model-based policy learning 関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Peiyuan Tang, Yao Li, Xiaodong Zhang, Wuyang Zhang, Qin Xia, Yanyong Zhang, Zijiang Yang

分類: cs.RO

原文アブストラクト

Contact-rich manipulation requires fine-grained control and complex physical interactions with the environment, posing significant challenges for robot policy learning. Vision-only policies struggle with such tasks, as contact states and interaction forces are difficult to infer from visual observations alone. Existing methods mitigate this issue by incorporating force or tactile sensing. However, they often treat these signals as auxiliary observations without fully exploiting their role in modeling future interaction dynamics. To address this, we propose ForceLDM, a force-aware latent dynamics model that learns future contact and motion dynamics to guide action generation. Rather than directly predicting future observations, which can entangle task-relevant dynamics with irrelevant sensory details, ForceLDM learns a compact representation of future dynamics through knowledge distillation. Specifically, a teacher network with privileged future force/torque and optical flow signals extracts future dynamic features, which are then distilled into a student network trained only on current observations. This enables the student model to reason about upcoming contacts and physical dynamics without relying on future sensory inputs at deployment. To improve robustness and generalization, we further introduce a curriculum-based progressive noise injection strategy to mitigate over-reliance on future features. Experiments on five real-world contact-rich manipulation tasks demonstrate that ForceLDM outperforms state-of-the-art baselines, generalizes effectively to novel objects, and remains robust to environmental perturbations. Project page and code are available at https://tpy001.github.io/ForceLDM/.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI