何が起きたか
arXivは2026-10-15、Latent Transition Memory（LTM）を提案する論文「LTM: Latent Transition Based In-Context Memory for Vision-Language-Action Models」を公開した。LTMは、連続する観測の間にある遷移をコンパクトな潜在表現として保存する方式である。著者らはπ0.5上にLTM-πを実装し、凍結したlatent action encoder、軽量アダプター、因果KVキャッシュを組み合わせた。
詳細
論文では、LTM-πがDreamDojoの遷移を用いてRoboMMEで58.54%、LIBERO-Memで80.5%の成功率を示したとしている。外部のreasoning modelやmemory-specific annotationsを使わないベースラインの中で最良だったとしている。 また、RoboMMEのデモンストレーションを10倍に拡大すると成功率は57.67%から87.50%に上昇した。200トークンのメモリ予算では成功率は84.00%で、圧縮なしの87.50%と比べて一定の性能を保ったとしている。さらに、実ロボットのカウント課題では成功率が11.25%から82.50%へ改善した。
Key Facts
| arXivは2026-10-15に「LTM: Latent Transition Based In-Context Memory for Vision-Language-Action Models」を公開した。 | [1] |
| 論文はLatent Transition Memory（LTM）を、連続する観測間の遷移を潜在表現として保存する方式として提案した。 | [1] |
| π0.5上のLTM-πは、DreamDojoの遷移を用いてRoboMMEで58.54%、LIBERO-Memで80.5%の成功率を示した。 | [1] |
| RoboMMEのデモンストレーションを10倍にすると、成功率は57.67%から87.50%に上がった。 | [1] |
| 実ロボットのカウント課題では、成功率が11.25%から82.50%に改善した。 | [1] |
本紙の見方
この論文の新しさは、視覚・言語・行動モデルの記憶を、過去の観測そのものではなく「観測間の遷移」として潜在空間に圧縮して扱う点にある。単に長い履歴を保持するのではなく、凍結したlatent action encoder、軽量アダプター、因果KVキャッシュを組み合わせ、追加のmemory-specific annotationsや外部reasoning model呼び出しを使わずに逐次推論を成立させようとしている。つまり主役はモデル規模の拡大ではなく、時間情報の持たせ方の再設計である。 数値面では、RoboMMEの58.54%、LIBERO-Memの80.5%、実ロボットのカウント課題での11.25%から82.50%への改善が重要だ。とくにRoboMMEでは、デモンストレーションを10倍にした場合に57.67%から87.50%へ伸びており、性能が単なる記憶の保持量ではなく、遷移データの量と質に強く依存する構造が読み取れる。200トークンの記憶予算下でも84.00%を保った点は、圧縮の有無よりも「何を圧縮するか」が焦点になることを示す。 本紙の見方としては、LTMは長文コンテキスト化の延長線上にある一方で、実世界操作では静的な状態列よりも、対象との相互作用の変化を表す遷移が重要だという立場を明確にした手法である。既存のVLAモデルが見落としがちな「見えなくなった後の履歴」をどう保持するかという論点に、外部推論を足すのではなく内部の記憶表現で答えようとしている点が特徴だ。今後の確認点は、実ロボット以外のタスクへの再現性、200トークンより短い条件での性能劣化、そしてDreamDojo由来の遷移が他環境でも同様に効くかどうかである。
なぜ重要か
LTMは、視覚・言語・行動モデルが長い履歴をそのまま持つのではなく、遷移として圧縮して扱う設計が有効になり得ることを示した。arXivの論文によれば、200トークンの記憶予算でも84.00%を維持し、実ロボットのカウント課題では11.25%から82.50%へ改善している。