行動クローニング改善の新アルゴリズム、未ラベルロボットデータセットで専門家軌道を特定

何が起きたか

arXivに2023年1月27日付で公開された論文「Improving Behavioural Cloning with Positive Unlabeled Learning」において、研究者らは、事前記録されたデータセットから制御ポリシーをオフライン学習するための新しい反復学習アルゴリズムを提案した。このアルゴリズムは、最小限の正例（高品質なデモンストレーション）のみを与えられた未ラベルの混合品質ロボットデータセットから、専門家軌道を特定するもので、既存アルゴリズムを精度で上回るとしている。

詳細

提案手法は、未ラベルのデータセット内で専門家軌道を特定するために、正例と未ラベルデータを用いた学習を反復的に行う。これにより、フィルタリングされたデータセットに行動クローニングを適用することで、複数の競合するオフライン強化学習および模倣学習ベースラインを上回る性能を達成したと報告している。 実験は、一連のシミュレーション locomotion タスクと、実ロボットシステム上の2つの困難な操作タスクで実施され、これらの実験で最先端の性能を示した。論文のウェブサイトは https://sites.google.com/view/offline-policy-learning-pubc で公開されている。

Key Facts

なぜ重要か

この研究は、オフラインでのロボット制御ポリシー学習において、データセットの品質が不均一である問題に対処するものである。専門家軌道の特定を自動化することで、実世界のデータセットから効率的に学習する可能性を広げる。