SUN: 言語に基づく制御から学習、実機への永続的プログラム

本論文は、長期にわたる操作タスクにおいて、モデルベース制御と学習ポリシーを統合するための新しいフレームワークであるSemantically UNified (SUN) Programsを提案している。SUN Programsは、幾何学的・接触関係を一度定義し、Model Predictive Control (MPC)コスト、充足述語、RL報酬、遷移ガード、診断情報にコンパイルされる型付き実行可能ファイルである。システムKuafuは、大規模視覚言語システムを用いて、言語とシーンセマンティクスからSUN Programsを自動合成し、MPCで実現可能性をスクリーニングし、セマンティクスを保持したままステージ条件付きポリシーを訓練する。

従来の制御と学習の橋渡し手法では、タスクセマンティクスが破棄され、報酬が手動設計され、制御が検証した動作から学習ポリシーが逸脱する問題があった。SUN Programsは、セマンティクスを明示的に保持し、制御と学習の間で整合性を取る点が新しい。また、デモンストレーションや手動の密な報酬を必要とせず、シミュレーションでスクリーニングしたタスクセマンティクスを学習に活用することで、ロバストなポリシーを実現している。

手法の核は、SUN Programsの設計とKuafuシステムのパイプラインである。SUN Programsは、幾何学的・接触関係を型付き実行可能ファイルとして定義し、MPCコスト、RL報酬、遷移ガードなどにコンパイルする。Kuafuは、大規模視覚言語システムを用いて言語とシーンセマンティクスからSUN Programsを自動合成し、MPCで実現可能性をスクリーニングし、セマンティクスを保持したままステージ条件付きポリシーを訓練する。

9つのタスクで評価し、Kuafuは82.03%のマクロ成功率を達成し、スパース報酬(35.67%)とStage-BC(24.75%)のベースラインを上回った。8192ウェイスケールでは、人間のテレオペレーション1時間あたりの成功軌道時間が10.57倍に向上した。タスクあたり500トラジェクトリで、Kuafuデータで訓練したDP3ポリシーはシミュレーション成功率46.0%(代替手法は22.4%)、物理FrankaおよびKinovaロボットで34.7%を達成した。

要旨からは、議論の余地や限界についての詳細は不明である。ただし、シミュレーションでスクリーニングしたセマンティクスが実ロボットに転移する際のギャップや、大規模視覚言語システムの合成精度への依存などが潜在的な課題として考えられるが、要旨には明記されていない。

要旨で参照されている関連研究として、Model Predictive Control (MPC)、RL報酬設計、Behavior Cloning (BC)、DP3 (Diffusion Policy) などが挙げられる。次に読むべき論文としては、これらの手法の詳細や、言語条件付きロボット操作に関する最近の研究が考えられる。