日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
VLAarXiv:2611.02660

非マルコフ操作のための階層的明示言語メモリ

HeLM: Hierarchical Explicit Language Memory for Non-Markovian Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

人間の内言に着想を得て、タスク関連の履歴を明示的な言語で保持する階層型VLAフレームワークHeLMを提案し、非マルコフ環境での操作成功率を向上させた。

詳しい要約

1. どんなもの?

- 非Markovianなロボット操作のための階層型VLAフレームワーク「HeLM (Hierarchical Explicit Language Memory)」。 - 現在の観測のみを入力とするMarkovian前提のVLAでは作業記憶が必要なタスクに失敗する点を問題視。 - 人間の「inner monologue」に着想を得て、タスク関連の履歴を明示的な言語で保持する。 - factorized event detection と event-triggered memory updates により記憶を階層的に管理する。

2. 先行研究と比べてどこがすごい?

- 既存VLAの多くはMarkovian仮定で現在観測→行動の写像のみを行うため非Markovian環境で失敗する。 - HeLMは履歴を明示的言語で保持することでこの制約を緩和。 - 10の非Markovian実世界タスク・56変種で評価し、intra-episode成功率が最強baseline比+12.8ポイント。 - compositional generalizationでsubtask成功率78%。 - 長期horizonでkeyframe baseline比、メモリ最大4.5倍削減・2.5倍高速。

3. 技術・手法の肝は?

- 階層型VLAフレームワークで、タスク関連履歴を明示的な言語として保持する。 - factorized event detection によりイベントを分解・検出する。 - event-triggered memory updates により、イベント発生時にのみ記憶を更新する仕組み。 - これにより作業記憶を言語で維持しつつ、記憶更新を効率化する設計。

4. どうやって有効だと検証した?

- 10の非Markovian実世界タスク・56変種で評価。 - うち5つはタスク境界をまたぐ持続的文脈を要する新規のinter-episodeタスク。 - intra-episode成功率で最強baseline比+12.8ポイント改善。 - compositional generalizationタスクでsubtask成功率78%。 - 長期horizonでkeyframe baseline比、メモリ最大4.5倍削減・2.5倍高速を確認。

5. 議論はある?

- 要旨からは不明。 - 明示的言語記憶の限界や、inter-episodeタスク以外への汎化、失敗事例の分析については要旨に記載なし。

6. 次に読むべき論文は?

- keyframe baseline(要旨で比較対象として言及)。 - 既存のVLAモデル(Markovian前提の一般的なVLAアーキテクチャ)。 - 作業記憶を扱うロボット操作研究(memory-augmented manipulation 等の同分野定番)。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Gyeonghun Kim, Donghoon Kim, Minsoo Choi, Suyun Lee

分類: cs.RO

原文アブストラクト

Recent advances in Vision-Language-Action (VLA) models have enabled fine manipulation capabilities, yet performing tasks that require working memory remains a key challenge. Most existing VLA architectures operate under a Markovian assumption, mapping only the current observation to an action, which leads to failure in non-Markovian environments. Inspired by the human 'inner monologue', we propose Hierarchical Explicit Language Memory (HeLM), a hierarchical VLA framework that maintains task-relevant history in explicit language through factorized event detection and event-triggered memory updates. We evaluate HeLM across 10 non-Markovian real-world tasks with 56 variants, including five newly formulated inter-episode tasks that require persistent context across task boundaries. HeLM improves intra-episode success by 12.8 percentage points over the strongest baseline and achieves 78% subtask success on compositional generalization tasks, while using up to 4.5x less memory and running 2.5x faster than the keyframe baseline at long horizons.

関連論文

PR本紙発行元 EmplifAI