日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2611.25461

ActMem:潜在記憶推論から接地されたロボット行動へ

ActMem: From Latent Memory Reasoning to Grounded Robotic Action

シェア:XThreadsFacebookLINEはてブBluesky

記憶推論と知覚接地を分離し、履歴から現在のサブタスクを推論する潜在記憶Chain-of-Thoughtで行動専門家を条件付けるVLAフレームワークを提案し、長期的操作タスクで高い成功率を達成した。

詳しい要約

1. どんなもの?

- Vision-Language-Action (VLA) モデル向けの in-context memory framework「ActMem」 - 長期 horizon のロボット manipulation における memory 問題を扱う - 単一の vision-language backbone 上で memory reasoning と perceptual grounding を分離 - 記憶推論の結果を Latent Memory Chain-of-Thought (Memory CoT) として保持し、flow-matching action expert を条件付ける

2. 先行研究と比べてどこがすごい?

- 既存の memory-augmented VLA は、過去観測を推論せず取得するか、全履歴を共有 context で推論して現在の知覚を圧迫していた - 認知科学の「記憶は何をするか、知覚はどう動くか」という区別に着想 - ActMem は memory reasoning と perceptual grounding を分離しつつ単一 backbone で統合 - RoboMemArena で最強 baseline を 7.5/8.7 ポイント上回る

3. 技術・手法の肝は?

- ネイティブ video understanding を持つ vision-language model を基盤とする - timestamped interaction history から現在の subtask を推論 - 推論中に形成された hidden states を Latent Memory Chain-of-Thought (Memory CoT) として保持 - Memory CoT が flow-matching action expert を条件付ける - Perception Attention により expert が現在の view に直接 attend - Efficient Memory CoT Inference で連続意思決定間の計算を再利用し、出力を変えず高速化

4. どうやって有効だと検証した?

- RoboMemArena で task success 71.1%、completion success 80.8% を達成 - MIKASA-Robo で平均 success 73.8%(比較手法中最高) - 実世界で exogenous, endogenous, traceless memory タスクの平均 success 68.8% - 最強の memory-augmented VLA を 10.0 ポイント上回る

5. 議論はある?

- 要旨からは不明 - 明示されているのは性能向上と高速推論の工夫までで、限界や失敗事例の議論は記載なし

6. 次に読むべき論文は?

- 比較対象の memory-augmented VLA(具体名は要旨に記載なし) - RoboMemArena および MIKASA-Robo の関連研究 - flow-matching action expert を用いる VLA 研究 - Latent Chain-of-Thought や in-context memory を用いる手法

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Linfeng Dong, Jianwei Niu, Jiuyi Zhao, Ruibing Feng, Xinghao Wu, Wu Yang, Shuai Tao, Wulong Liu, Mu Li

分類: cs.CV, cs.LG

原文アブストラクト

Vision-Language-Action (VLA) models have shown promising results in real-world long-horizon manipulation, where memory plays a crucial role. However, existing memory-augmented VLAs either retrieve past observations without reasoning about what they imply, or reason over the full history in a shared context where it crowds out current perception. Cognitive science treats them as distinct systems: memory reconstructs past experience to decide what to do, while perception guides how to act. We therefore propose ActMem, an in-context memory framework that decouples memory reasoning from perceptual grounding within a single vision-language backbone. Built on a vision-language model with native video understanding, ActMem infers the current subtask from a timestamped interaction history and keeps the hidden states formed during this inference as a Latent Memory Chain-of-Thought (Memory CoT), which conditions a flow-matching action expert. Perception Attention further lets the expert attend directly to the current view. To keep inference fast under long histories, Efficient Memory CoT Inference reuses computation across consecutive decisions without changing the output. ActMem achieves 71.1% task success and 80.8% completion success on RoboMemArena, surpassing the strongest baseline by 7.5 and 8.7 percentage points, and 73.8% average success on MIKASA-Robo, the best among all compared methods. In the real world, it reaches 68.8% average success on exogenous, endogenous, and traceless memory tasks, 10.0 percentage points above the strongest memory-augmented VLA. Code and checkpoints will be released at https://github.com/LigphiDonk/ActMem and https://huggingface.co/donk111/ActMem.

関連論文

  1. 1パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  2. 2川崎重工業のロボット外販を報道新製品・発表
  3. 3Boston Dynamics、GlobalFoundriesでAtlasを試験へ 半導体製造で2027年初頭から半導体・GPU
  4. 4NVIDIA、ヒトの動きをロボットに適応する「SOMA Retargeter」を紹介研究・技術
  5. 5丸文、RealManのロボットアームやヒューマノイドを国内販売提携・買収

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI