デジタルツインと人間参加型デモンストレーションを活用した強化学習によるロボットの柔軟性向上

本論文は、collaborative robot の適応性向上を目的に、digital twin (DT)、reinforcement learning (RL)、human demonstrations を組み合わせた human-in-the-loop online training framework を提案する。DT は主にタスク実行前に synthetic data を生成する用途と異なり、camera feeds を通じて物理システムとリアルタイムに同期し、virtual robot が実世界の feedback から observation と policy を更新できる。dual actor framework は imitation learning (IL) を統合するが、RL actor に直接的な imitation loss を加えない。Ufactory Xarm5 collaborative robot で end-effector が障害物を避けつつ目標位置に到達するタスクに適用した。

従来の DT は主にタスク実行前に synthetic data を生成するために使われるが、本手法の DT は camera feeds を介して物理システムとリアルタイムに同期し、実世界の feedback から virtual robot が observation と policy を更新する点が異なる。また、demonstrations を手動 reprogramming の代わりに適応のガイドとして使えるよう、RL actor に直接的な imitation loss を加えずに IL を統合する dual actor framework を採用している。

提案手法の肝は、DT をリアルタイムに物理システムと同期させ、camera feeds から virtual robot の observation と policy を更新する human-in-the-loop online training framework にある。さらに dual actor framework により、RL actor に直接的な imitation loss を加えることなく IL を統合し、demonstrations を適応のガイドとして利用する。これにより、手動 reprogramming を必要とせずに適応できる。

Ufactory Xarm5 collaborative robot を用い、end-effector が障害物を避けながら目標位置に到達するタスクで検証した。物理ワークスペースの変化後に training を再開できることを示した。また、固定された非最適な demonstrations を用いた場合、dual actor framework は actor に imitation loss を加える2手法よりも最終 success rate が大幅に高いことを示した。VR で収集した実 human demonstrations でも同様の傾向が確認され、目標に到達しない demonstrations でも dual actor framework は 83-100% の mean deterministic evaluation success を達成し、imitation-loss 手法の 0-17% を上回った。

要旨からは不明。

要旨で参照/比較されている研究や関連手法として、DT を主にタスク実行前の synthetic data 生成に用いる手法、RL actor に imitation loss を加える2手法、imitation learning (IL)、reinforcement learning (RL)、digital twin (DT) が挙げられる。