1500時間のデモからオン方針修正までの両腕家庭操作のスケーリング

本論文は、両腕ロボットによる家庭内操作タスクの汎用ポリシー学習を大規模データで実証した研究である。1,500時間に及ぶ多様な両腕操作のデモンストレーションデータセットを公開し、そのデータを用いてVision-Language-Action (VLA)モデルであるXR-2を訓練した。XR-2は、高スループットなデータパイプラインと多段階の訓練パラダイムにより、高い操作性能と訓練効率・データ利用効率を達成している。さらに、専門家デモデータ量の変化と、実時間の人間介入によるDAgger修正データを用いたポスト訓練という2つのスケーリング軸を調査し、タスク成功率がデータ量に対して一貫して向上するスケーリング傾向を示した。データセットはオープンソース化され、再現可能な研究を支援する。

先行研究では、両腕操作の汎用ポリシー学習は高品質な大規模人間デモデータの不足がボトルネックとなっていた。本論文は、1,500時間という大規模かつ多様な両腕操作デモデータセットを新たに公開し、これを活用してVLAモデルXR-2を訓練した点が革新的である。また、データパイプラインと多段階訓練により、従来の手法に比べて訓練効率とデータ利用効率を高めつつ、強い操作性能を達成している。さらに、デモデータ量とDAgger修正データの両方でスケーリング傾向を系統的に検証した点も新規性が高い。

技術の肝は、大規模データ収集のための高スループットデータパイプラインと、多段階訓練パラダイムにある。具体的には、1,500時間のデモデータを効率的に収集・処理し、VLAモデルXR-2を訓練する。訓練は複数段階に分けられ、まず大規模なデモデータで事前学習し、その後、実時間の人間介入によるDAgger修正データでポスト訓練を行う。これにより、データ量の増加に伴う成功率のスケーリングを実現している。

系統的な実験により、XR-2の操作性能を評価した。具体的には、専門家デモデータの量を変化させた場合と、DAgger修正データによるポスト訓練を行った場合の2つの設定で、タスク成功率を測定した。その結果、両設定ともデータ量の増加に伴い成功率が着実に向上し、現在のデータ規模において明確で一貫したスケーリング傾向を示すことを確認した。

要旨からは、データ収集のコストや多様性の限界、実環境でのロバスト性、他のタスクやロボットへの一般化などに関する議論は不明である。また、スケーリング傾向がさらに大規模なデータでも続くかどうかは未検証であり、今後の課題と考えられる。

要旨で参照されている関連手法として、DAgger (Dataset Aggregation) が挙げられる。また、VLAモデルや両腕操作学習の分野では、RT-2やOpen X-Embodimentなどの関連研究が考えられるが、要旨に明記されていないため、一般名としてVision-Language-Action (VLA)モデル、Bimanual Manipulation、Imitation Learning、DAggerを挙げる。