エージェント型ロボットのための再帰的ビデオ文脈内学習

LLM agent が frozen な VLA policy を編成する際、text memory では「何をしたか」は記録できるが「どうやるか」が欠落する問題に対し、demonstration video を階層構造として扱う training-free 手法 RV-ICL を提案。 - demonstration を prompt として与えるのではなく、agent が navigation する hierarchy に変換。 - hierarchy は grasp や release などの sub-event から構築。 - 全体 keyframe から phase、moment、short clip へと階層が細かくなる。 - read-only tool 経由で coarse level を planning 前に読み、実行中は必要時に再進入し現 sub-goal の clip のみ load。 - 1 task あたり demonstration 1 本で十分。

従来の LLM agent は text memory で episode を跨ぎ改善するが、記録は行動履歴に留まり task の遂行方法(how)を持たない。 - demonstration video は how を示すが、agent の context に収まりにくい。 - full video は毎 turn を遅くし、fixed keyframe は grasp 成否を決める contact 詳細を失う。 - 必要な情報は planning 時の task 構造から、各 contact 周辺 frame へと shift する。 - RV-ICL は video を prompt ではなく階層 navigation 対象とし、必要部分のみ読む点が先行手法と異なる。

training-free で demonstration を階層化し、agent が read-only tool で辿る仕組み。 - demonstration の sub-event(grasp, release 等)から hierarchy を構築。 - 階層は whole task の keyframe → phase → moment → short clip と細かくなる。 - planning 前に coarse level を読み、実行中に step が詳細を要する時のみ hierarchy へ再進入。 - 現 sub-goal の clip だけを load し context を抑制。 - 1 task 1 demonstration で動作。

RPent を基盤に LIBERO-PRO と LIBERO-Plus で評価。 - LIBERO-PRO で success が 92.6% から 96.5% へ向上。 - LIBERO-Plus で 86.7% から 95.8% へ向上。 - 1 task あたり demonstration 1 本で達成。 - 具体的な ablation や比較条件は要旨からは不明。

要旨からは不明。 - 想定される論点として full video の遅さ、fixed keyframe の contact 詳細欠落、必要情報の planning から contact 周辺への shift が挙げられている。 - 階層構築のコストや失敗時の挙動、他 task への汎化は要旨では触れられていない。

要旨で参照/比較されている研究・手法。 - RPent(基盤 agent) - frozen VLA policies - LIBERO-PRO - LIBERO-Plus - text memory を用いる LLM agents - demonstration video を prompt として扱う手法