Semantics-to-Contact：接触の多い操作のための段階的フレームワーク

- 実世界の contact-rich manipulation を対象にした段階的フレームワーク Semantics-to-Contact (S2C) の提案。 - 問題を semantic focusing と contact refinement の2段階に分解する。 - 第1段階では vision-language model が視覚的に多様な scene で task-relevant region を局所化し、粗い spatial guidance を与えて exploration の負担を減らす。 - 第2段階では real-world human-in-the-loop residual reinforcement learning policy が、局所化領域内で force feedback を用いて fine-grained contact behavior を学習する。 - 視覚的 robustness 向上のため、robot と task-relevant object を保ちつつ背景外観をランダム化する object-centric visu…

- 実世界 reinforcement learning は training scene の視覚的外観に過学習しやすい、という課題を出発点にしている。 - 単一の end-to-end 学習ではなく、semantic focusing と contact refinement に段階分解する点が特徴。 - vision-language model による task-relevant region の局所化で exploration 負担を軽減する。 - force feedback を用いた human-in-the-loop residual reinforcement learning で fine-grained contact を学習する。 - object-centric visual augmentation により背景外観をランダム化し、視覚的 robustness を狙う。 - 具体的な先行研究名との比較は要旨からは不明。

- 第1段階: vision-language model が視覚的に多様な scene で task-relevant region を局所化し、coarse spatial guidance を提供する。 - 第2段階: real-world human-in-the-loop residual reinforcement learning policy が、局所化領域内で force feedback を用いて fine-grained contact behavior を学習する。 - 視覚的 robustness のため object-centric visual augmentation を導入し、背景外観をランダム化しつつ robot と task-relevant object は保持する。 - 全体として semantic focusing と contact refinement の段階的構成を取る。

- 6つの contact-rich real-world manipulation task で実験。 - S2C が strong baselines に対して success rate を一貫して改善。 - 大きな visual variation と positional variation の下でも reliable な performance を維持。 - demo は https://edem-ai.github.io/S2C/ で公開。

- 段階的な semantic focusing と contact refinement が、視覚的に robust な実世界 contact-rich manipulation への実用的な道筋になることを示唆。 - 実世界 RL の視覚的外観への過学習への対処として、VLM による局所化と object-centric visual augmentation を組み合わせる。 - 限界や失敗事例、計算コスト、human-in-the-loop の負担などの詳細な議論は要旨からは不明。

- 要旨で参照・比較されている個別研究は明示されていないため、同分野の定番として以下が候補。 - vision-language model を用いた robot manipulation の研究。 - residual reinforcement learning の研究。 - human-in-the-loop reinforcement learning の研究。 - contact-rich manipulation における force feedback 活用の研究。 - 視覚的 robustness のための data augmentation 研究。