日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
マニピュレーションarXiv:2610.04741

視覚による力予測を用いたロボット学習

Robot Learning with Visual Predicted Force

シェア:XThreadsFacebookLINEはてブBluesky

柔軟なFin Rayグリッパの変形から視覚的に力を予測し、力覚センサなしで接触を伴うマニピュレーションを実現する手法を提案。

詳しい要約

1. どんなもの？

- 力覚を考慮したマニピュレーションを、力覚センサや触覚センサを使わずに、視覚による力予測で実現する手法。 - compliant Fin Ray gripper の変形から力を予測する visual force estimator を訓練。 - その予測力を用いてデモンストレーションに力推定を付与し、action-force proposal policy を訓練。 - テスト時には候補行動と予測力をサンプリングし、目標力に最も近い行動を実行。 - berry picking, empty-can grasping, in-hand reorientation, plug insertion で評価。

2. 先行研究と比べてどこがすごい？

- 従来の力覚マニピュレーションは専用の力覚センサや触覚センサに依存していた。 - 本研究は、展開時に力覚・触覚センサを必要とせず、視覚のみから力を予測して接触リッチな操作を可能にする点が新しい。 - 視覚による力予測が推論時の行動選択を導けることを示した。

3. 技術・手法の肝は？

- compliant Fin Ray gripper の変形を視覚的に観測し、力覚を推定する visual force estimator をキャリブレーションデータで訓練。 - この推定器でタスクデモンストレーションに力推定を注釈付け。 - 力拡張されたデモンストレーション上で action-force proposal policy を訓練し、候補行動とそれに対応する力を同時生成。 - テスト時には候補行動と予測力をサンプリングし、デモンストレーションの目標力に最も近い予測力を持つ行動を実行。

4. どうやって有効だと検証した？

- berry picking, empty-can grasping, in-hand reorientation, plug insertion の4タスクで評価。 - 視覚による力予測が推論時の行動選択を導き、接触リッチなマニピュレーションを展開時に力覚・触覚センサなしで実現できることを示した。

5. 議論はある？

- 要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照・比較されている研究は明記されていない。関連手法として、force/tactile sensing を用いたマニピュレーション、visual force estimation、Fin Ray gripper に関する研究が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Haonan Chen, Feiyang Wu, Yuxiang Ma, Mustafa Mete, Pengfei Ye, Junxuan Shen, Cheng Zhu, Aurora Ruggeri, Kelvin Cheung, Jiayuan Mao, Edward Adelson, Jiajun Wu, Robert D. Howe, Yilun Du

分類: cs.RO, cs.AI

原文アブストラクト

Force-aware manipulation typically relies on specialized force or tactile sensors. We show that force-aware manipulation can instead be achieved through visual force prediction from the deformation of a compliant Fin Ray gripper. Our approach trains two models. First, we train a visual force estimator on calibration data and use it to annotate task demonstrations with force estimates. Second, we train an action--force proposal policy on these force-augmented demonstrations to jointly generate candidate robot actions and their associated forces. At test time, we sample candidate actions and the forces they are expected to produce, then execute the action whose predicted force is closest to a target from the demonstrations. We evaluate our approach on berry picking, empty-can grasping, in-hand reorientation, and plug insertion. Our results show that visual force prediction can guide inference-time action selection for contact-rich manipulation without requiring force or tactile sensors at deployment.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI