ロボット経験をニューラル暗黙表現で記憶するパラメータ空間メモリ

- ロボットの長期的な操作経験を、エピソードごとに『分離可能な物体』としてパラメータ空間に記憶する枠組み。 - 各エピソードの動画に neural implicit representation を fit し、その weight delta を記憶として保持する。 - weight delta は共有の meta-learned initialization からの差分であり、フレーム数に依存せず固定サイズ。 - learned projector で weight delta を token embeddings に変換し、language model による question answering と decoder による joint command regression を行う。 - query 時に frame retrieval を必要としない。

- 従来の記憶は実行時間やフレーム数に比例して増大しうるが、本手法はエピソード長が百フレームでも十万フレームでも weight delta のサイズが一定。 - 記憶コストを時間ホライズンから切り離す点が特徴。 - query 時にフレーム検索をせず、パラメータ空間の記憶から直接 conditioning する。 - 具体的な先行研究名との比較は要旨からは不明。

- 共有の meta-learned initialization から出発し、エピソード動画に neural implicit representation を fit。 - 得られた weight delta をエピソード記憶として保存する。 - learned projector が weight delta を token embeddings に写像。 - その embeddings で language model を条件付けして question answering を行い、decoder で joint command regression を行う。 - 記憶は共通パラメータ空間内の固定サイズ delta として表現され、streaming memory の基盤となる。

- RoboMME 上で評価。 - language model は全 question type で chance を上回った。 - decoder は mean $R^2$ 0.51 を達成。 - weight delta を matched noise に置換すると性能が 11.4 points 低下。 - random-origin weights は non-decodable であり、meta-learned initialization がエピソード内容の埋め込みに不可欠であることを示した。

- weight delta を noise に置換した場合の低下と random-origin weights の non-decodability から、meta-learned initialization の重要性を議論。 - 固定サイズの weight delta により記憶コストを時間ホライズンから切り離せる点を主張。 - scalable streaming memory の基盤になりうると述べる。 - 限界や失敗事例、計算コストなどの詳細は要旨からは不明。

- 要旨で直接参照・比較されている個別研究は不明。 - 関連手法として neural implicit representation、meta-learning、language model conditioning、RoboMME に関する論文を次に読むべき候補として挙げる。 - 同分野の定番として memory-augmented robotics / long-horizon robot learning の研究も参照候補。