日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
VLAarXiv:2610.32348

LogLook: 実行に基づく記憶でロボットプランナーを強化

LogLook: Execution-Grounded Memory for Frontier-Model Robot Planners

シェア:XThreadsFacebookLINEはてブBluesky

フロンティアVLMプランナー向けに、実行ログと選択的視覚参照を組み合わせた記憶機構を提案し、トークンと画像を大幅削減しつつ成功率を維持・向上させた。

詳しい要約

1. どんなもの?

- ロボット manipulation タスク向けの、frontier vision-language model による planner のための memory 機構「LogLook」 - 操作タスクでは、ロボットが「何をしたか」「何を見たか」を覚える必要がある - タスク特化の training なしで計画できる frontier VLM に対し、episode の記憶の持ち方が未解決問題であると指摘 - 提案する memory は次の2要件を満たすべきと主張 - planner が行ったこと・学んだことを記録し続けること - 全 frame が token コストを伴うため、planner 自身が「どこを見るか」を選べること - 毎 step 書き換える note はこの両方を満たしにくいと論じる

2. 先行研究と比べてどこがすごい?

- 比較対象は note-only memory(毎 step 書き換える note のみの記憶) - 同じ成功率を保ちつつ token を 43% 削減、画像数を半分未満に削減 - 「記憶したこと」「見たこと」に起因する episode 失敗が大幅に少ない - 単一の note を書き換える方式ではなく、execution log と過去の note を保持する点が差分 - 要旨からは不明: 他の memory 手法(例: 全 frame 保持型)との定量比較の詳細

3. 技術・手法の肝は?

- execution-grounded memory により、execution log とモデルの過去の note を保持 - モデル自身が「どこを見るか」を決定 - 変化が予想される箇所にのみ frame を返す - demonstration はまず skim し、その後選んだ部分を inspect する - 毎 step の note 書き換えではなく、記録の保持と選択的参照を分離する設計 - 要旨からは不明: log の具体的なデータ構造、frame 選択の判定アルゴリズム、skim の実装詳細

4. どうやって有効だと検証した?

- benchmark の motion planner を用いて評価 - note-only memory と成功率が同等であることを確認 - token 43% 削減、画像数半分未満を計測 - 記憶・視覚に起因する episode 失敗数の比較 - direct control 設定では RoboMME test set で 93.5% を達成 - 要旨からは不明: ベースラインの具体的な成功率、失敗数の絶対値、評価したタスク数

5. 議論はある?

- 「memory は何を保持すべきか」「どこを見るかを誰が決めるか」という設計論を提示 - 全 frame 参照の token コスト問題に対し、選択的参照で対処する立場 - 毎 step 書き換える note の限界を主張 - 要旨からは不明: 失敗事例の分析、frame 選択の誤りによる影響、他 benchmark への一般化、計算コストの詳細

6. 次に読むべき論文は?

- note-only memory(本論文の主要比較対象) - frontier vision-language model を用いた training-free な robot planner の関連研究 - RoboMME benchmark - 要旨からは不明: 個別の著者名・論文名の参照はないため、同分野の定番として vision-language-action model や memory-augmented planner の関連研究を挙げる

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Tianyi Jiang, Tianyao Tong, Zhenshan Bing

分類: cs.RO

原文アブストラクト

Many manipulation tasks require a robot to remember what it has done and what it has seen. Frontier vision-language models can plan such tasks without task-specific training, but how such a planner should remember an episode is an open question. We argue that its memory must keep track of what the planner has done and learned, and must let the planner choose what to look at, since every frame costs tokens; a note rewritten at every step meets both poorly. We propose LogLook, whose execution-grounded memory lets the system keep the record, an execution log and the model's earlier notes, while the model decides where to look: frames are returned only where it expects a change, and demonstrations are skimmed before it inspects the parts it chooses. Measured with the benchmark's motion planner, LogLook matches the success of a note-only memory with 43% fewer tokens and less than half the images, and fails far fewer episodes through what it remembered or saw. With direct control, LogLook solves 93.5% of the RoboMME test set.

関連論文

PR本紙発行元 EmplifAI