閉ループロボットソフトウェアの学習と転移

- 閉ループ robot policy の実装を再利用可能な実行経験として扱う研究。 - coding agent が少数の成功 demonstration から policy code を生成し、simulation feedback で反復改善。 - 改善済み実装を software archive に保存し、新規タスクの policy 獲得に参照。 - 最終 policy は凍結され、追加の model call なしで実行。

- 従来の control-code 生成・最適化は source task の改善に焦点。 - 本研究は、改善された実装が新規タスクの policy 獲得にも有効かを検証。 - 初期 source code 参照や参照なしと比較し、最適化済み参照の転移効果を示す。

- 各 source task で coding agent が成功 demonstration から policy code を生成。 - simulation feedback を用いて反復改善し、validation で選択した実装を archive に保持。 - 新規タスクでは archive の実装、target demonstration、実行 feedback を利用して policy を生成・改善。 - 得られた policy を凍結し、追加の model call なしで実行。

- RoboCasa の 4 source task で反復最適化により平均成功率が 28.3% から 64.2% に向上。 - 9 target task、3 回の独立実行で平均成功率を比較。 - 参照なし 45.2%、初期 source code 参照 41.5%、最適化済み source code 参照 57.0%。 - 最適化済み参照は 9 タスク平均で 3 回すべて初期参照を上回り、平均 +15.6 ポイント。

- 実行改善済み software が新規 policy 獲得の資源として有用であることを示す。 - ただし、2 つの target task では実行平均で初期参照の方が優れる。 - 限界や一般化可能性、他の設定への適用については要旨からは不明。

- 要旨で参照・比較されている研究は明示されていない。 - 関連手法として coding agent、simulation feedback による反復改善、RoboCasa が挙げられる。 - 同分野の定番として closed-loop robot policy learning、demonstration からの policy 生成、transfer learning が考えられる。