日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2611.23731

RecallFlow: エピソード記憶を生成源とするロボット方策

RecallFlow: Episodic Memory as the Source Distribution of Generative Robot Policies

シェア:XThreadsFacebookLINEはてブBluesky

エピソード記憶から生成の初期分布を作り、想起スロットで記憶と現在視覚を対応付けてノイズではなく意図に近い行動から生成を始めるフローポリシーを提案。記憶依存の操作タスク群で評価した。

詳しい要約

1. どんなもの?

- 視覚運動模倣学習のための flow-matching policy フレームワーク「RecallFlow」 - 記憶依存の manipulation タスクを対象 - 観測履歴を条件に加えるのではなく、episodic memory から生成の source distribution を構築 - 構成要素 - Recall-Relocalization: recall slots で記憶と現在視覚を対応付け - Recall Anchors: 各 slot を source の Gaussian component に変換 - transport network: 現在観測のみから action を完成 - 記憶負荷別のタスクスイートも構築し比較評価

2. 先行研究と比べてどこがすごい?

- 既存手法は観測履歴を policy の追加条件として入力し、action 生成は Gaussian noise から開始 - 長く冗長な履歴から関連 target を選ぶ必要があり、記憶負荷増大で spurious correlations と不安定な判断を招く - 初期 noise はロボットが見た情報を含まず、記憶 target への誘導がない - RecallFlow は記憶を source distribution に反映し、意図した action 近傍から生成を開始 - 推論は現在観測のみでほぼ memoryless policy 並みに安価 - 公開 MIKASA-Robo memory benchmark で平均成功率 80.4% の SOTA - 自社スイートで最強 baseline を 20.3 ポイント、実機 4 タスクで 18.8 ポイント上回る

3. 技術・手法の肝は?

- flow-matching policy の source distribution を episodic memory から構築 - Recall-Relocalization - 少数の recall slots を介して記憶と現在視覚を関連付け - source が「記憶した target が今どこにあるか」を反映 - Recall Anchors - 各 slot を source の Gaussian component に変換 - 生成を noise ではなく意図 action の近傍から開始 - transport network - 現在観測のみから action を完成させ、推論コストを抑制 - 記憶負荷でグループ化した記憶依存タスクスイートと matched protocol による比較

4. どうやって有効だと検証した?

- 公開 MIKASA-Robo memory benchmark で評価 - 平均成功率 80.4% の SOTA を達成 - 記憶負荷別にグループ化した独自タスクスイートで全 policy を matched protocol 下で比較 - 最強 baseline を 20.3 ポイント上回る - 実機 4 タスクで評価 - 最強 baseline を 18.8 ポイント上回る - 詳細な ablation や指標の内訳は要旨からは不明

5. 議論はある?

- 記憶負荷増大時の履歴条件付けの spurious correlations と不安定判断を問題視 - 初期 noise が記憶情報を持たない点を生成誘導の欠如として議論 - recall slots により記憶と現在視覚を少数の対応に圧縮する設計思想 - 推論時は現在観測のみで済むため memoryless policy 並みの計算コストを主張 - 限界・失敗事例・記憶負荷ごとの詳細な傾向は要旨からは不明

6. 次に読むべき論文は?

- MIKASA-Robo memory benchmark(比較対象の公開ベンチマーク) - diffusion policy / flow-matching policy(比較対象となる標準的手法) - 観測履歴を条件付けする既存 memory-dependent manipulation 手法(具体名は要旨からは不明) - episodic memory を用いたロボット manipulation の関連研究(具体名は要旨からは不明)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xuji Zhang, Qilin Zhong, Zichen Zhang, Wei Zhai, Jian Di, Kun Li, Yang Cao, Wenjun Lv

分類: cs.RO

原文アブストラクト

Diffusion and flow-matching policies have become a standard choice for visuomotor imitation learning, owing to their ability to model multimodal action distributions. In memory-dependent manipulation, the robot must act on information that is no longer visible. Existing methods feed the observation history to the policy as an additional condition, while action generation still starts from Gaussian noise. However, the policy must then pick out the relevant target from a long and redundant history, leading to spurious correlations and unreliable decisions as the memory load grows. Additionally, the initial noise carries no information about what the robot has seen, leaving generation without guidance toward the remembered target. To address these issues, we propose RecallFlow, a flow-policy framework that builds the source distribution from episodic memory. Recall-Relocalization relates the memory to the current view through a few recall slots, so that the source reflects where the remembered targets are now. Recall Anchors then turns each slot into a Gaussian component of the source, enabling generation to start close to the intended action instead of from noise. The transport network then completes the action from the current observation alone, keeping inference nearly as cheap as a memoryless policy. We further build a suite of memory-dependent tasks grouped by memory load and compare all policies under a matched protocol. Extensive experiments show that RecallFlow achieves a state-of-the-art average success rate of 80.4% on the public MIKASA-Robo memory benchmark, and outperforms the strongest baseline by 20.3 points on our suite and by 18.8 points on four real-robot tasks.

関連論文

  1. 1パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3日経クロステック、NVIDIA取締役会のファンCEO解任議論を報道 同社は同日、辞任を発表業界動向
  4. 4NVIDIA、ヒトの動きをロボットに適応する「SOMA Retargeter」を紹介研究・技術
  5. 5ティアフォーとTUM、Autowareでミュンヘン大型路線バスの自動運転開発を支援提携・買収

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI