VLA2026/9/10arXiv:2609.11875

UniMPA：行動接地型遷移モデリングによる統合記憶・予測・行動モデル

UniMPA: A Unified Memory-Prediction-Action Model via Action-Grounded Transition Modeling

視覚言語行動モデルの遷移実現性ギャップを、記憶・予測・行動を統合した行動接地型インターフェースで解決する手法を提案。

詳しい要約

1. どんなもの？

- ロボティクス/フィジカルAIの研究。 - Vision-Language-Action (VLA) モデルの課題を解決するUniMPAを提案。 - 観測から行動への学習におけるtransition realizability gapを扱う。 - 三つの問題: Transition ambiguity, Prediction-execution mismatch, Experience-realization mismatch。 - 統一的なMemory-Prediction-Actionモデル。 - 共有のaction-grounded transition interfaceを導入。

2. 先行研究と比べてどこがすごい？

- 先行研究と比べて、transition realizability gapを明示的に扱う点が新しい。 - 従来のVLAモデルは観測から行動の直接学習に限界。 - 三つの問題を統合的に解決する初の試み。 - Persistent-Selective Future Predictionでtransition ambiguityに対処。 - メモリバンクを活用し、予測と実行のギャップを埋める。 - 具体的な比較対象は要旨からは不明。

3. 技術・手法の肝は？

- 共有のaction-grounded transition interfaceが核。 - Persistent-Selective Future Prediction: 持続的潜在ストリームと遷移クリティカルピクセルストリーム。 - 持続的潜在ストリームがタスクレベルの進捗を追跡。 - 遷移クリティカルピクセルストリームが細粒度の相互作用変化を選択的に解決。 - 予測遷移がtemporal Visual-Action Memory Bankをクエリ。 - 履歴の視覚-行動経験を検索し、実行可能証拠に基づく。 - Action-Visual Memory Bankが視覚的に根拠づけられた行動プロトタイプを検索。 - Prototype-Biased Flowがフローソースを歴史的に支持された行動多様体にシフト。

4. どうやって有効だと検証した？

- 要旨からは不明。 - 実験や評価方法についての記述がない。 - 有効性の検証は今後の課題と思われる。

5. 議論はある？

- 要旨からは不明。 - 議論や限界についての記述がない。 - 提案手法の有効性や一般性に関する議論はされていない。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法としてVision-Language-Action (VLA) モデルが挙げられる。 - 同分野の定番として、RT-1, RT-2, PaLM-Eなどが考えられるが、要旨には記載なし。 - 具体的な次に読むべき論文は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Wei Li, Rui Shao, Jie He, Lingsen Zhang, Ziwei Liu, Liqiang Nie

分類: cs.RO

原文アブストラクト

Recent advances in Vision-Language-Action (VLA) models have improved robotic manipulation, yet observation-to-action learning remains limited by a fundamental transition realizability gap, manifested in three tightly coupled problems: (i) Transition ambiguity. Visually similar current observations may correspond to different manipulation phases and imply different subsequent transitions. (ii) Prediction--execution mismatch. A visually plausible predicted future observation does not necessarily correspond to a physically realizable transition. (iii) Experience--realization mismatch. A historically executable action pattern may not necessarily realize the intended transition in the current scene and therefore requires context-aware adaptation. Accordingly, we propose UniMPA, a Unified Memory-Prediction-Action model that addresses these problems through a shared action-grounded transition interface. (i) UniMPA introduces Persistent-Selective Future Prediction to resolve transition ambiguity by modeling the intended future state evolution. A persistent latent stream continuously tracks task-level progress, while a transition-critical pixel stream selectively resolves fine-grained interaction changes through memory-grounded prediction. (ii) To assess the physical executability of the anticipated transition, the predicted transition queries a temporal Visual-Action Memory Bank. The bank retrieves historically realized visual-action experience, grounding future prediction in executable evidence. (iii) To adapt executable experience to the current scene, an Action-Visual Memory Bank retrieves visually grounded action prototypes from historical action evolution. Prototype-Biased Flow then shifts the flow source toward a historically supported action manifold for context-aware refinement.

arXivで原文を読む →arXiv概要ページ