ロボット操作向け視覚メモリー「PREM」、記憶依存タスクで成功率83.8％

何が起きたか

ロボット操作向けの視覚メモリー手法「Prediction-Regulated Memory（PREM）」を提案する論文が、2026年10月31日にarXivに掲載された。π0.5を基盤とするPREMについて、論文はDOMINOの動的操作タスクとRMBench M(1)の記憶依存設定で成功率が向上したと報告している。

詳細

PREMは、行動条件付きの未来予測をメモリーの学習と更新の両方に使う。訓練時は未来の視覚特徴を予測して時間的な教師信号とし、実行時は現在の視覚特徴と直前の意思決定時に行った予測との差を空間的に正規化し、そのずれに応じて視覚状態を位置ごとに更新する。更新後の状態は、現在の観測とともに行動生成に使われる。 論文が報告した平均成功率は、DOMINOの動的操作タスクで9.63％から20.74％、RMBench M(1)の記憶依存設定で14.4％から83.8％に上昇した。LIBEROとLIBERO-Proでも、一般的な操作性能と空間的な摂動への頑健性の改善を報告している。単一のNVIDIA H800 GPUでの平均推論オーバーヘッドは7.7ミリ秒。

Key Facts

本紙の見方

今回の論文の技術的な焦点は、過去の画像情報を保持するだけでなく、「次に見えるはずの視覚特徴」と実際の観測との差を、メモリーの更新量を決める信号にした点にある。記憶が必要な場面では予測と観測のずれが状態更新を促し、既存の視覚状態をそのまま使うのではなく、空間位置ごとに更新を調整する設計だ。未来予測を訓練時の時間的な教師信号にも使うため、学習と実行時のメモリー制御が同じ予測を軸につながっている。 結果の読み分けも重要である。DOMINOでは成功率が9.63％から20.74％へ上がった一方、RMBench M(1)では14.4％から83.8％へ上昇しており、論文が示す改善幅は評価設定によって異なる。特に後者は記憶依存設定であり、PREMの狙いと評価条件が直接結びついた結果と読める。ただし、この数値だけから、実環境のあらゆる操作で同等の性能が出るとはいえない。LIBEROとLIBERO-Proについては改善が記されているものの、提示された要旨には具体的な成功率がないため、ベンチマーク間の効果の大小を比較できない。 構造面では、現在の観測だけで行動を決めるのではなく、過去の視覚状態を介して時間的文脈を行動生成に渡す点が中核となる。メモリーを一括で更新するのではなく、空間的に正規化した予測誤差で場所ごとに制御するため、操作対象の一部に生じた変化を状態に反映させる仕組みとして設計されている。ただし、論文要旨からは、予測誤差がどの条件で有効な更新信号になるのか、誤予測が続く場合に状態がどう変化するのかまでは判断できない。 実装上の負荷として示されたのは、単一のNVIDIA H800 GPUで平均7.7ミリ秒の推論オーバーヘッドである。これは報告された実験条件に限った値であり、別の計算機やロボット上での遅延を示すものではない。今後確認すべきなのは、ベンチマークごとの評価数やばらつき、メモリー容量・モデル規模、実機での遅延と操作成功率、誤予測時の安全性である。要旨にはこれらの詳細が示されておらず、ベンチマーク上の改善を実運用に結びつけるには、評価条件を含む追加情報が必要となる。

なぜ重要か

論文の報告では、記憶依存のRMBench M(1)で成功率が14.4％から83.8％に上がっており、現在の観測だけでは不足する操作場面で、視覚履歴の更新方法が性能に関わることを示す結果である。一方、平均7.7ミリ秒という推論オーバーヘッドは単一のNVIDIA H800 GPUでの値であり、実機への適用を判断するには、異なる計算環境での遅延と操作性能の確認が必要だ。