MATE: ヒューマノイド協調データ収集のためのマルチエージェント仮想テレオペレーションプラットフォーム

本論文は MATE を提案する。MATE は、地理的に分散した複数の operator が共有された physics-based 環境で whole-body humanoid を同時に操作し、humanoid 協調データを収集する Multi-Agent virtual TEleoperation platform である。複数の physical robot や同一場所での操作を不要にしつつ、humanoid・object・environment 間の物理的に結合した interaction を保持する。MATE を用いて、object handover、relay delivery、environment interaction、cooperative transport を含む 5 つの long-horizon task にわたり、2,500 joint episode、24.1 時間の協調行動からなる multi-humanoid collaboration dataset を構築した。さらに、interaction-rich な demonstration からの学習を改…

既存の humanoid data pipeline は主に個々の agent に焦点を当てており、physical multi-robot collaboration は高コストな hardware、専用空間、繰り返しの reset のために scale が難しい。MATE は複数の physical robot や co-located operation を不要にし、地理的に分散した複数 operator による同時操作を可能にしつつ、humanoid・object・environment 間の物理的に結合した interaction を保持する点が異なる。また、EAIS により execution-aligned prefix 内で sampling signal を計算し、task-progressing かつ interaction-critical な behavior を優先する。

MATE は、複数の地理的に分散した operator が共有された physics-based 環境で whole-body humanoid を同時に操作できる Multi-Agent virtual TEleoperation platform である。これにより、複数の physical robot や同一場所での操作を必要とせず、humanoid・object・environment 間の物理的に結合した interaction を保持する。データ収集では、5 つの long-horizon task にわたり 2,500 joint episode、24.1 時間の協調行動を収集する。学習改善のため、EAIS は execution-aligned prefix 内で sampling signal を計算し、task-progressing および interaction-critical な behavior を優先する Execution-Aligned Interaction Sampling 戦略である。

MATE を代表的な imitation learning および vision-language-action policy を用いて多様な collaboration task で評価した。実験により、効率的な data collection、効果的な policy learning、および real-world fine-tuning なしでの virtual demonstration から physical humanoid への zero-shot transfer が示された。

要旨からは不明。

要旨で参照・比較されている具体的な先行研究は明示されていない。関連手法として imitation learning、vision-language-action policy、humanoid teleoperation、multi-agent collaboration data collection などが挙げられる。