UniLatent: 潜在観測アライメントによる異なる身体間の転移学習

- UniLatent は、geometry・appearance・kinematics が異なるロボット間で demonstration を再利用するための cross-embodiment transfer framework。 - 共有 latent space 上で embodiment に起因する observation gap を縮小する。 - simulation で source-target の paired robot observations を render し、source visual encoder を frozen target encoder に align する。 - これにより source demonstrations で学習した policy が、pixel-level image translation なしで target observations 上で直接動作する。

- 従来の pixel-translation baseline と比較して、平均で 30 points 以上上回る性能を示す。 - 3 つの simulation tasks と 2 つの target robot arms で最大 93% の zero-shot success を達成。 - pixel-level image translation を必要とせず、latent space での alignment により embodiment gap を扱う点が特徴。 - real-world xArm-to-Franka transfer では、task あたり 10 個の target demonstrations のみで fine-tuning し、27/30 successful rollouts を達成。

- simulation 上で source robot と target robot の paired observations を render する。 - source visual encoder を、frozen された target encoder に align するように学習する。 - alignment は共有 latent space 上で行われ、embodiment-induced observation gap を縮小する。 - source demonstrations を encoded して policy を学習し、その policy を target observations に直接適用する。 - pixel-level image translation は行わない。

- 3 つの simulation tasks と 2 つの target robot arms で評価。 - zero-shot success が最大 93% に到達し、strongest pixel-translation baseline を平均 30 points 以上上回った。 - real-world では xArm から Franka への transfer を実施。 - task あたり 10 個の target demonstrations で fine-tuning し、27/30 successful rollouts を確認。

- 要旨からは不明。 - ただし、simulation で paired source-target observations を render して alignment を行うため、sim-to-real や embodiment 間の見た目・運動学的差異への依存性については議論の余地があると考えられる。 - real-world 結果は xArm-to-Franka の 1 組の transfer に限られており、他の embodiment 組み合わせへの一般化は要旨からは不明。

- pixel-translation baseline（要旨で比較対象として言及） - cross-embodiment transfer / robot demonstration reuse に関する関連研究 - visual encoder alignment や latent space alignment を用いた imitation learning 関連手法 - xArm や Franka を用いた real-world transfer 研究