日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
VLAarXiv:2610.13262

視覚言語行動ポリシーのためのデュアルストリーム記憶

Dual-Stream Memory for Vision-Language-Action Policies

シェア:XThreadsFacebookLINEはてブBluesky

VLAポリシーに、履歴を圧縮する時間ストリームと関連フレームを保持する検索ストリームの二重記憶を持たせ、記憶依存のマニピュレーション性能を向上させた研究。

詳しい要約

1. どんなもの？

- Vision-Language-Action (VLA) ポリシー向けの dual-stream memory を提案。 - 記憶依存の manipulation では、実行状態の追跡と、もはや観測できない視覚証拠の回復が必要。 - これらを相補的な表現に割り当てる。 - タスク非依存の Gated DeltaNet が履歴を1つの temporal token に圧縮。 - タスク条件付き retriever が固定閾値以上のフレームを保持。 - 16の RoboMME タスクと4つの実ロボットタスクで評価。

2. 先行研究と比べてどこがすごい？

- 公開されている FrameSamp+Modul 参照と比較。 - RoboMME 16タスクで完全モデルは平均成功率 49.22% 対 44.51%。 - 14タスクで改善し、4つのスイート平均すべてで向上。 - 実ロボット4タスクでは平均成功率 62.5% 対 37.5%。 - 実行段階の識別を要する繰り返し動作で最大の改善。

3. 技術・手法の肝は？

- 二重ストリーム記憶。 - タスク非依存 Gated DeltaNet が履歴を1つの temporal token に圧縮。 - progress prediction と action-conditioned feature reconstruction で監督。 - タスク条件付き retriever が固定 relevance threshold 以上のフレームを保持。 - linear multi-scale fusion で各フレームを16の spatial token にエンコード。 - temporal compressor を凍結し、retrieval と policy learning を jointly optimize。

4. どうやって有効だと検証した？

- 16の RoboMME タスクで評価。 - 完全モデルは平均成功率 49.22%、FrameSamp+Modul 参照は 44.51%。 - 14タスク改善、4スイート平均すべて向上。 - 4つの実ロボットタスクで評価。 - 平均成功率 62.5% 対 37.5%。 - 繰り返し動作で最大の改善。

5. 議論はある？

- 実行コンテキストと選択的視覚アクセスの組み合わせを支持する結果。 - cup swaps 下での失敗は、持続的な identity tracking が未解決の要件であることを示す。 - その他の議論は要旨からは不明。

6. 次に読むべき論文は？

- FrameSamp+Modul（参照手法） - Gated DeltaNet（関連手法） - RoboMME（ベンチマーク） - Vision-Language-Action policies（関連分野）

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yang Wang, Ping Liu, Ruiyu Wang, Xuhua Chen, Lingfeng Zhang, Tao Zhang

分類: cs.RO, cs.CV

原文アブストラクト

Memory-dependent manipulation requires a policy to track execution state and recover visual evidence that is no longer observable. We propose dual-stream memory for vision-language-action policies, assigning these requirements to complementary representations. A task-agnostic Gated DeltaNet compresses history into one temporal token, supervised by progress prediction and action-conditioned feature reconstruction. A task-conditioned retriever retains frames above a fixed relevance threshold; linear multi-scale fusion encodes each frame into sixteen spatial tokens. We then freeze the temporal compressor and jointly optimize retrieval and policy learning. Across sixteen RoboMME tasks, the complete model achieves 49.22% mean success versus 44.51% for the published FrameSamp+Modul reference, improving fourteen tasks and all four suite means. On four real-robot tasks, mean success reaches 62.5% versus 37.5%, with the largest gains on repeated actions requiring execution-stage discrimination. These results support combining execution context with selective visual access, while failures under cup swaps expose persistent identity tracking as an unresolved requirement.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI