AdaRSI: 身体性エージェントのためのオンデマンド再帰的自己改善

- 本論文は、embodied agents のための on-demand recursive self-improvement (RSI) フレームワーク AdaRSI を提案する。 - 対象は pretrained vision-language-action models (VLAs) で、未見の long-horizon タスクの途中で失敗する問題を扱う。 - coding agent がまず自身の skills と harness を改善し、その後、保存状態から失敗 sub-step を再試行して persistent failure を帰属させる。 - 信頼できない sub-step のみを、自身で収集した demonstrations と過去タスクからの experience で fine-tune する。 - executor に GR00T N1.5 を用い、RoboCasa365 の 50 target tasks で評価する。

- 従来の embodied RSI は、frozen executor 周りの harness を改善するため欠けた motion を追加できない、または persistent failure を executor に学習させるが失敗が呼び出し方か能力の問題かを問わない。 - AdaRSI は「いつ executor の weights を変えるべきか」を問い、on-demand に fine-tune 対象を限定する。 - 全 sub-step を fine-tune する場合と比べ、わずかに高い success を達成しつつ、GPU time 28%、self-collected demonstrations 22% で済む。 - harness なしの fine-tune はより多く学習するが gain ははるかに小さい。

- coding agent がまず skills と harness を改善する。 - その後、失敗する sub-step を saved states から再試行し、persistent failure を帰属させる。 - 帰属後、信頼できない sub-step のみを fine-tune する。 - fine-tune には自身で収集した demonstrations と、以前のタスクから引き継いだ experience を用いる。 - これにより、executor の weights 変更を必要な sub-step に限定する on-demand RSI を実現する。

- RoboCasa365 の全 50 target tasks で評価。 - executor は GR00T N1.5 を使用し、human demonstrations なし。 - AdaRSI は 3 つの suite すべてで VLA を改善。 - 未見の composite tasks での success を 4.6% から 13.8% に向上。 - 全 sub-step fine-tune と比較して、わずかに高い success を達成しつつ、GPU time 28%、self-collected demonstrations 22% で済むことを示す。 - harness なし fine-tune はより多く学習するが gain がはるかに小さいことも確認。

- 要旨からは、失敗が executor の呼び出し方にあるか能力にあるかを区別することの重要性が議論の中心と読める。 - on-demand に weights を変えるべきかという問いを立て、全 sub-step fine-tune や harness なし fine-tune との比較を行っている。 - ただし、具体的な限界や失敗事例、計算コスト以外の議論は要旨からは不明。

- 要旨で参照/比較されている研究: embodied RSI 手法、frozen executor 周りの harness を改善する手法、persistent failure を executor に学習させる手法。 - 使用モデル: GR00T N1.5。 - ベンチマーク: RoboCasa365。 - 関連する一般手法: recursive self-improvement (RSI)、vision-language-action models (VLAs)、fine-tuning。 - 同分野の定番として、embodied agent の long-horizon task 学習や VLA の fine-tuning に関する研究が次に読むべき候補。