行動類似性監督による潜在行動モデルの異機体間転移の改善

本論文は、Latent Action Models (LAMs) における cross-embodiment transfer を改善する手法を提案する。LAMs は action-free な動画から latent action を学習し、embodiment 間で共有可能にするが、背景の視覚ノイズに敏感で、異なるロボットの同じ動作が異なる latent にエンコードされる問題がある。著者らは action-similarity supervision を導入し、2つの latent action 間の類似度を、対応する ground-truth robot action 系列の類似度に一致させるよう訓練する。これにより latent action が embodiment 固有の情報をエンコードする必要がなくなる。RoboTwin 2.0 上で cross-embodiment transfer を評価し、latent action を予測することで成功率が2倍以上になることを示した。

先行研究では、背景視覚ノイズ対策として latent action から robot action を予測する補助損失 (auxiliary loss) を追加し、latent action 空間を embodiment 固有の robot action 空間に結びつける手法があった。本論文は同じラベルを action-similarity supervision として異なる形で利用する。ground-truth action を予測するのではなく、latent action 間の類似度を ground-truth action 系列の類似度に合わせることで、latent action が embodiment 固有の詳細をエンコードする必要がなくなり、cross-embodiment transfer が向上する。同じ ground-truth action を用いた場合、similarity supervision は action 予測補助損失よりも転移性能が高い。

技術の肝は action-similarity supervision である。LAM の訓練中に、任意の2つの latent action 間の類似度が、対応する2つの ground-truth robot action 系列間の類似度と一致するように訓練する。ground-truth action は LAM によって予測されないため、latent action は embodiment 固有の情報をエンコードする必要がない。類似度は joint-space motion ではなく end-effector motion 上で計算し、損失が2つのロボット間で latent action を比較できるようにする。これが本研究で最良のアプローチとなる。

RoboTwin 2.0 上で制御された設定で cross-embodiment transfer を評価した。2台の bimanual robot が互いに素なタスクセットを実演し、すべての実演でポリシーを訓練し、各ロボットは他方のみが実演したタスクで closed-loop 評価される。ポリシーアーキテクチャ、ハイパーパラメータ、データセット、評価プロトコルを固定した上で、ground-truth action を予測する代わりに latent action を予測することで cross-embodiment 成功率が2倍以上になることを示した。また、同じ ground-truth action を与えた場合、similarity supervision は LAM 訓練中に ground-truth action を予測する補助損失よりも転移性能が高いことを確認した。

議論としては、action-similarity supervision が action 予測補助損失よりも cross-embodiment transfer に有効であること、類似度を end-effector motion 上で計算し、2つのロボット間で latent action を比較することが最良であることが示されている。ただし、背景視覚ノイズや embodiment 間の差異に対する頑健性の限界、他のタスクやロボットへの一般化可能性については要旨からは不明である。

要旨で参照/比較されている研究として、latent action から robot action を予測する補助損失を用いる先行手法が挙げられる。また、Latent Action Models (LAMs) や cross-embodiment transfer に関する研究、RoboTwin 2.0 を用いた評価手法が関連する。同分野の定番としては、action-free 動画からの latent action 学習や、generalist robot policies に関する研究が次に読むべき論文として考えられる。