計画変更を記憶の合図に：VLAモデルのための再計画誘導型視覚メモリ

- 長期的・多段階の Vision-Language-Action (VLA) ポリシー向けの選択的視覚メモリ手法 RePlanMem-VLA を提案する研究。 - ポリシー自身の plan の改訂(replanning)を、オンラインのメモリ書き込み信号として利用する。 - receding-horizon 実行下で、連続する action chunk が同じ将来行動を予測する性質に着目する。 - 時間的に整列した予測間の大きな不一致を、タスクに関連するイベントの証拠として扱う。 - 限られた容量の visual memory を更新し、robot-masked write filter で冗長フレームを抑制する。

- 完全な観測履歴の保持は計算コストが高く冗長性も大きいという問題に対し、選択的 visual memory を動機づける。 - 従来の明示的なイベント検出や固定間隔のキーフレーム選択ではなく、ポリシー内部の plan 改訂をメモリ書き込み信号として使う点が新しい。 - 35 種類の disagreement 指標を比較し、単一タスクの autoregressive decoder-only と Flow-Matching Transformer の両方で検証している。 - 事前学習済み OpenVLA-OFT と π_{0.5} にも適用でき、汎用性を示す。 - 検出器は ROC-AUC 0.981–0.997 と高い性能を示す。

- receding-horizon 実行で連続する action chunk の時間的に整列した予測の不一致を計算する。 - 35 種類の disagreement 指標を比較し、イベント検出に有効な信号を選定する。 - 選定した信号が閾値を超えた場合に、bounded visual memory への書き込みをトリガーする。 - robot-masked write filter により、ロボットに関連しない冗長フレームの書き込みを抑制する。 - メモリは容量に上限があり、タスクに関連する観測を後の意思決定点まで保持する設計。

- 単一タスクの autoregressive decoder-only と Flow-Matching Transformer をゼロから学習し、35 種類の disagreement 指標を比較した。 - 選定した信号を事前学習済み OpenVLA-OFT と π_{0.5} に適用し、MIKASA-Robo-VLA タスクで検証した。 - 検出器の ROC-AUC は 0.981–0.997 を達成した。 - メモリ保持実験では、RePlanMem-VLA がタスク関連観測を後の意思決定点まで 100% のエピソードで保持した。 - 実ロボットの replay データでも、イベント選択と冗長性抑制がシミュレーション外でも機能することを示した。

- plan の改訂をポリシー内部の信号として、VLA が何を記憶するかの制御に使えることを示す。 - 実ロボット replay データにより、シミュレーションを超えた有効性の兆候を示す。 - 一方で、実ロボットでのオンライン運用や、より多様なタスク・ポリシーへの一般化については要旨からは不明。 - disagreement 指標の選択や閾値設定の感度、メモリ容量の影響についても要旨からは不明。

- OpenVLA-OFT - π_{0.5} - Flow-Matching Transformer - autoregressive decoder-only VLA - MIKASA-Robo-VLA - receding-horizon action chunking を用いる VLA ポリシー