MatchingPolicy: 対応関係を考慮したポリシーによる物体横断的な文脈内学習の実現

MatchingPolicyは、デモンストレーションとシーン間の対応関係を明示的に分離したcorrespondence-drivenフレームワークを導入し、in-context imitation learningの性能を未見物体や新規シナリオで向上させる手法。dense semantic correspondencesに直接条件付けられたcorrespondence-aware diffusion policyを中心とし、vision foundation modelsと新規のtwo-stage matching algorithmを統合する。

従来のin-context imitation learningは未見物体や新規シナリオでの性能維持が困難だったが、MatchingPolicyはcorrespondence identificationとaction adaptationの間の固有の競合を解決するアーキテクチャ分離により、out-of-distribution転送を堅牢に実現する点が優れている。

手法の肝は、デモとシーンの対応関係を動的に確立するtwo-stage matching algorithmと、その対応関係に直接条件付けられたdiffusion policyの統合。これにより、対応関係の特定と行動適応を分離し、ロボットの行動生成を高密度なセマンティック対応に基づいて行う。

RLBenchと実世界の操作タスクで広範な評価を実施し、未見の物体インスタンスやセマンティックカテゴリにわたって信頼性の高いfew-shot性能と一般化を確認した。

要旨からは、提案手法の限界や潜在的な欠点についての議論は不明。ただし、対応関係の品質が性能に与える影響や、実世界でのスケーラビリティなどが今後の課題となる可能性が示唆されるが、詳細は要旨に記載されていない。

要旨で参照されている研究は明示されていないが、関連する分野としてin-context imitation learning、diffusion policy、vision foundation models、correspondence matchingに関する論文が挙げられる。具体的には、diffusion policyの元祖である『Diffusion Policy』や、vision foundation modelsの代表例である『DINOv2』、correspondence matchingの手法である『SuperGlue』などが関連する。