VLA2026/8/25arXiv:2608.24115

PonderPounce: 事前学習済みMLLMをロボット制御のエピソードコンテキストエンジンとして活用

PonderPounce: A Pretrained MLLM as an Episode Context Engine for Robot Control

PonderPounceは、マルチモーダル大規模言語モデル（MLLM）のネイティブな因果コンテキストをロボットの記憶として再利用し、エピソード観察やデモンストレーションを蓄積してサブゴール生成を行うSystem2と、現在の観察から直接アクションを出力するSystem1のVLAを非同期に連携させる新しいアーキテクチャを提案する。専用の記憶モジュールやブリッジ事前学習なしでエンドツーエンドに訓練され、低遅延で高周波のアクション生成を実現する。

詳しい要約

1. どんなもの？

PonderPounceは、ロボット制御のための視覚言語行動(VLA)モデルを改善する手法。Multimodal large language model (MLLM)のネイティブなcausal contextをエピソードメモリとして再利用し、System2のMLLM (Ponder)がエピソード観察・デモ・過去の推論を蓄積し、サブゴールテキストやデモ推論を生成。System1のVLA (Pounce)は現在の観察・指示・proprioceptionを受け取り、Ponder-Pounceインターフェースを介して最新の連続認知トークンとその年齢のみを非同期に受け取る。専用メモリモジュールやブリッジ事前学習なしでエンドツーエンドに共同訓練される。

2. 先行研究と比べてどこがすごい？

従来のVLAモデルは事前学習表現を継承するが、エピソードメモリとしての文脈能力を活用していない。メモリ依存ポリシーは専用の履歴メカニズムで対処するが、PonderPounceはMLLMのネイティブなcausal contextをそのままロボットメモリとして再利用する点が新しい。専用メモリモジュールやブリッジ事前学習を不要にし、非同期インターフェースで低遅延を実現。

3. 技術・手法の肝は？

Ponder (System2 MLLM)がエピソード観察・デモ・過去の認知をネイティブなcausal contextに蓄積し、サブゴールテキストとデモ推論を生成。Pounce (System1 VLA)は現在の観察・指示・proprioceptionを直接受け取り、Ponder-Pounceインターフェースを介して最新の連続認知トークンとその年齢のみを非同期に受け取る。両者はエンドツーエンドで共同訓練され、専用メモリモジュールやブリッジ事前学習は不要。最適化されたサービスにより、認知更新のp50レイテンシは78ms、行動モデル呼び出しは25msで、20Hzの行動再生をサポート。

4. どうやって有効だと検証した？

RoboMMEベンチマークで、ベーススケールの訓練データで9Bモデルが60.83%、0.8Bモデルが50.04%を達成。比較としてFrameSamp+Modulは44.51%、現在の観察のみのπ_{0.5}は17.93%。9倍のデータでは75.54%に対しFrameSamp+Modulは57.88%。RoboCasa-DCでは、行動監督のみで学習し、最強の公開デモ条件付きベースラインの11.6%に対し12.5%を達成。認知を学習済みヌル状態に置き換えると8.6%に低下。

5. 議論はある？

要旨からは、PonderPounceの有効性は示されているが、計算コストやスケーラビリティ、他のタスクや環境での汎用性、Ponderの認知生成の質と行動への影響の詳細、非同期インターフェースの設計選択の影響などについての議論は不明。また、RoboCasa-DCでの絶対的な成功率が低いことや、ベースラインとの差が小さいことに関する考察も要旨にはない。

6. 次に読むべき論文は？

要旨で参照されている研究は、FrameSamp+Modul、π_{0.5}、およびRoboCasa-DCの最強の公開デモ条件付きベースライン。また、関連手法として、メモリ依存ポリシー、vision-language-action (VLA)モデル、Multimodal large language models (MLLMs)の一般的手法が挙げられる。具体的な論文タイトルは要旨にないため、同分野の定番として、"RT-2: Vision-Language-Action Models"や"RoboFlamingo"、"OpenVLA"などが考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Suhwan Choi, Jaeyoon Jung, Sungkyung Kim, Yunsung Lee, Youngjae Yu

分類: cs.RO, cs.AI

原文アブストラクト

Multimodal large language models (MLLMs) can integrate long visual histories, reason under partial observability, and infer behavior from a few examples. Yet vision-language-action (VLA) models generally inherit pretrained representations without using this contextual capacity as episode memory. Memory-dependent policies address this gap through purpose-built history mechanisms. PonderPounce instead reuses an MLLM's native causal context as robot memory. Ponder, a System2 MLLM, accumulates episode observations, demonstrations, and prior cognition in its native causal context and can generate subgoal text and demonstration reasoning for internal use. Pounce, a System1 VLA, receives the current observation, instruction, and proprioception directly; through the Ponder--Pounce interface, it asynchronously receives only the newest continuous cognition token and its age. Both are jointly trained end to end without a purpose-built memory module or separate bridge pretraining. Optimized serving achieves p50 latencies of 78ms for cognition refresh and 25ms for action-model invocation, supporting 20Hz action playback. On RoboMME with base-scale training data, PonderPounce reaches 60.83% with 9B and 50.04% with 0.8B under the same Pounce architecture and interface, versus 44.51% for FrameSamp+Modul and 17.93% for the current-observation π_{0.5}. With 9x data, it reaches 75.54% versus 57.88% for FrameSamp+Modul. On RoboCasa-DC, the same interface learns from action supervision alone and reaches 12.5% versus 11.6% for the strongest published demonstration-conditioned baseline, falling to 8.6% when cognition is replaced by a learned null state.

arXivで原文を読む →arXiv概要ページ