日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
VLAarXiv:2610.31166

目標より記憶を優先：ヒューマノイドの移動操作における事前履歴記憶の役割

Memory before Goal: Role of Pre-History Memory for Humanoid Loco-Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

物体追跡とイベント選択で過去の観測を保持する記憶機構WholeBodyMemを提案し、ヒューマノイドの全身VLA方策の成功率を実機で36.7%から88.3%へ向上させた。

詳しい要約

1. どんなもの？

- 動的環境での humanoid loco-manipulation は非 Markov 的で、対象物の変化・遮蔽・視界外移動により手がかりが失われる - しかし whole-body VLA policy は現在の観測しか見ていない - 本研究は WholeBodyMem を提案：行動前に見た物体イベントの pre-history を保持する object-guided perceptual memory - 併せて humanoid memory benchmark の HuMeGo を貢献（simulated 6 タスク＋real-world Unitree G1 6 タスク）

2. 先行研究と比べてどこがすごい？

- memoryless baseline や uniform-memory baseline と比較して優位 - 「より多くのフレーム」ではなく「正しいフレームを保持する」設計が鍵 - base policy の成功率を simulation で 29.1%→72.6%、real robot で 36.7%→88.3% に向上 - 標準 SIMPLE タスクでも 70.2%→86.9% と改善 - 既存の whole-body VLA が現在観測のみに依存する点を補う

3. 技術・手法の肝は？

- object-guided perceptual memory により行動前の物体イベント履歴を保持 - SAM3 でタスク対象物を追跡 - 物体イベントが adaptive budget 内で key frame を因果的に選択 - action expert が cross-attention で key frame を読み、appearance・geometry・time を符号化した object token と統合 - フレーム数を増やすのではなく適切なフレーム選択を重視

4. どうやって有効だと検証した？

- HuMeGo benchmark を構築：simulated 6 タスクと real-world Unitree G1 6 タスク - memoryless・uniform-memory baseline との比較で有効性を検証 - simulation で 29.1%→72.6%、real robot で 36.7%→88.3% の成功率向上を報告 - 標準 SIMPLE タスクでも 70.2%→86.9% へ改善

5. 議論はある？

- 要旨からは不明（adaptive budget の設計詳細や失敗事例、計算コスト、汎化性に関する議論は記述なし）

6. 次に読むべき論文は？

- SAM3（対象物追跡に使用） - whole-body VLA policy（base policy として比較対象） - memoryless baseline / uniform-memory baseline - SIMPLE tasks（標準ベンチマーク） - HuMeGo（本論文の benchmark）

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Chenyuan Chen, Ran Ding, Lechen Zhang, Zewen He, Yoshihiko Nakamura

分類: cs.RO, cs.CV, cs.LG

原文アブストラクト

Humanoid loco-manipulation in dynamic scenes is non-Markovian: cues vanish as objects change or are hidden, or leave the view as the robot turns and walks, yet whole-body vision-language-action (VLA) policies see only the present. We present WholeBodyMem, an object-guided perceptual memory that keeps the pre-history of object events seen before the robot acts on its goal. SAM3 tracks the task objects, and their events causally select key frames within an adaptive budget, which the action expert reads by cross-attention together with object tokens encoding appearance, geometry and time. We also contribute HuMeGo, a humanoid memory benchmark with six simulated and six real-world Unitree G1 tasks. Keeping the right frames rather than more frames, WholeBodyMem surpasses memoryless and uniform-memory baselines, raising its base policy's success from 29.1% to 72.6% in simulation and from 36.7% to 88.3% on the real robot, while also improving the standard SIMPLE tasks (70.2% to 86.9%).

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI