Touch2Robot: 人間のデモンストレーションループにロボットの触覚を統合

- 人間のデモンストレーション中に、対象ロボットハンドが物体にどう接触するかを可視化するフレームワーク Touch2Robot を提案。 - 人間の手の動き、tactile-glove 計測、物体運動を記録し、それらを用いて物体固有の RL ポリシーを学習。 - 学習した挙動を unified real-time retargeter に distill し、人間の観測と物体形状からロボットハンド構成を予測。 - 収集中に予測ロボット構成と simulation 上の物体 pose を同期し、robot-object contacts を再構成・可視化。 - これにより、人間が対象ハンドに合わせて次の相互作用を適応できる。

- 人間のデモはスケーラブルだが、ロボットハンドへの転移時に接触が不安定・不可能になる問題がある。 - 対象ロボット上で直接デモを集めるとミスマッチは避けられるが、データ収集コストが大幅に増大する。 - Touch2Robot はこのトレードオフに対処し、人間のデモ中に対象ロボットハンドの接触を可視化する。 - visual-only feedback と比較して、実ロボットでの replay 完了率を 37.9% から 72.1% に改善。 - replay 成功あたりの収集時間を 58.6 s から 18.2 s に短縮。 - Touch2Robot のデモで学習したポリシーは、下流の Diffusion Policy 性能を visual-only feedback 比で 29.1 ポイント改善。

- 人間の手の動き、tactile-glove 計測、物体運動を人間の manipulation 中に記録。 - これらの記録を用いて、物体固有の RL ポリシーを学習し、デモされた物体運動を再現しつつ、記録された人間の触覚と整合する接触を優先。 - 学習した挙動を unified real-time retargeter に distill。 - retargeter は入力される人間の観測と物体 geometry をロボットハンド構成にマッピング。 - 収集中、予測されたロボット構成を simulation 上の追跡物体 pose と同期し、robot-object contacts を再構成。 - 再構成された接触を可視化し、デモンストレータが対象ハンドに合わせて次の相互作用を適応できるようにする。

- 4 つの実世界タスクで評価。 - 実ロボットでの replay 完了率が visual-only feedback の 37.9% から Touch2Robot で 72.1% に向上。 - replay 成功あたりの収集時間が 58.6 s から 18.2 s に短縮。 - 再構成された対象ハンド接触は、実ロボットの tactile 計測に対して 44.2% F1 を達成。 - Touch2Robot のデモで学習したポリシーは、下流の Diffusion Policy 性能を visual-only feedback 比で 29.1 ポイント改善。

- 要旨からは、明示的な限界や失敗事例、議論の詳細は不明。 - 結果として、robot touch を人間のデモンストレーションループに組み込むことで、スケーラブルな dexterous データ収集の品質と効率が向上すると主張。 - 再構成接触の F1 が 44.2% である点など、接触再構成の精度に関する議論の余地は要旨からは不明。

- 要旨で参照・比較されている研究として、visual-only feedback を用いる手法、Diffusion Policy、物体固有の RL ポリシー、unified real-time retargeter が挙げられる。 - 関連手法として、human demonstration からの manipulation データ収集、tactile-glove を用いた触覚計測、simulation 上の robot-object contact 再構成が挙げられる。 - 具体的な論文名は要旨からは不明。