SkillWeave: 異種デモンストレーションを長期的器用マニピュレーションスキルへ織り上げる

- 長期的な dexterous manipulation のための heterogeneous demonstration framework「SkillWeave」を提案。 - 粗い reaching/transport には teleoperation、精密で contact-rich な skill には kinesthetic teaching を組み合わせる。 - 実世界の3つの long-horizon task で検証。

- 単一の demonstration modality ではなく、sub-task ごとに適した modality を割り当てる点が新しい。 - kinesthetic data 収集時の demonstrator による visual mismatch を、object-mask-conditioned diffusion policy で明示的に扱う。 - 独立に学習した sub-task policy 間の distribution shift を successor-aware terminal steering で緩和。

- teleoperation と kinesthetic teaching を組み合わせた heterogeneous demonstration 収集。 - object-mask-conditioned diffusion policy: 訓練時は offline object segmentation を supervision に使用。 - 展開時は lightweight learned mask predictor を用い、online segmentation や image inpainting を回避。 - successor-aware terminal steering: predecessor policy からサンプルした行動の中から、successor の demonstrated initial-state distribution に近づくものを選択。

- 実世界の3つの long-horizon task で評価。 - end-to-end success は平均27%。 - mask-conditioned kinesthetic policy により dexterous sub-task success は平均65%。 - successor-aware handoff の composition efficiency は平均87%。

- demonstration modality を interaction regime に合わせることの有効性を示唆。 - kinesthetic visual mismatch への対処と、successor-supported state への handoff steering が long-horizon dexterous manipulation を大きく改善。 - 限界や失敗事例、計算コスト、他タスクへの一般化については要旨からは不明。

- 要旨で参照・比較されている個別研究は明記されていない。 - 関連手法として diffusion policy、kinesthetic teaching、teleoperation、object segmentation、successor-aware policy handoff が挙げられる。 - 同分野の定番として imitation learning、behavior cloning、hierarchical policy composition も次に読む候補。