日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
マニピュレーションarXiv:2609.15976

MessyMem: モバイルマニピュレーションのための経験から学ぶ永続メモリ

MessyMem: Learning-from-Doing Memory for Mobile Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

モバイルマニピュレータが過去の経験を永続的に記憶し、物体や場所の知識を再利用できるメモリシステムを提案。25タスクの連続シミュレーションで高いタスク進捗を達成した。

詳しい要約

1. どんなもの?

- モバイルマニピュレータが経験から学習し、知識を将来のタスクに再利用できるようにする永続メモリシステム「MessyMem」を提案。 - 物体や場所の空間的に接地された3Dシーングラフを維持し、インタラクションを通じて学習した特性や結果を付加し、視覚観測をリンクして詳細な想起を可能にする。 - シミュレーションと実機で評価し、25タスクの連続シミュレーションで80.0%のタスク進捗を達成。

2. 先行研究と比べてどこがすごい?

- 従来のロボットは各タスクを新規として扱い、コンパクトなシーン表現はインタラクション由来の知識を欠き、生のビデオ履歴はクエリが困難で、VLMプランナは推論時に永続的に知識を更新しない。 - MessyMemはこれらの問題を解決し、経験から学習して知識を再利用する点が優れている。 - 最強のアブレーションを14.8ポイント、最強の外部ベースラインを28.9ポイント上回る性能を達成。

3. 技術・手法の肝は?

- 空間的に接地された3Dシーングラフを維持し、物体と場所を表現。 - インタラクションを通じて学習した特性と結果をシーングラフに付加。 - 視覚観測をリンクして詳細な想起を可能にする。 - 数千の保存キーフレームからタスク関連の証拠を検索し、1時間以上前の情報も利用。

4. どうやって有効だと検証した?

- シミュレーションと実機のモバイルマニピュレータで評価。 - 3時間以上にわたる25タスクの連続シミュレーションを実施。 - MessyMemは80.0%のタスク進捗を達成し、最強のアブレーションを14.8ポイント、最強の外部ベースラインを28.9ポイント上回った。 - 数千の保存キーフレームからタスク関連の証拠を検索し、1時間以上前の情報も利用できることを確認。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究や関連手法は明示されていない。同分野の定番として、VLMプランナ、3Dシーングラフ、永続メモリに関する研究が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Anuva Banwasi, William Muckelroy, Priya Sundaresan, Linfeng Zhao, Jeannette Bohg, Cherie Ho

分類: cs.RO

原文アブストラクト

Mobile manipulators deployed across many rooms and visits should improve with experience: after discovering that a cabinet is locked or finding an object in a drawer, the robot should reuse that knowledge rather than start each task from scratch. Yet today's robots often treat each task as new: compact scene representations omit interaction-derived knowledge, raw video histories are difficult to query, and VLM planners reason at inference time without persistently updating what the robot knows. We present MessyMem, a persistent memory system that enables mobile manipulators to learn from experience and reuse that knowledge across future tasks. It maintains a spatially grounded 3D scene graph of objects and locations, augments it with properties and outcomes learned through interaction, and links visual observations for fine-grained recall. We evaluate MessyMem in simulation and on a real mobile manipulator. In a continuous 25-task simulation spanning over 3 hours, MessyMem achieves 80.0% task progress, outperforming the strongest ablation by 14.8 percentage points and the strongest external baseline by 28.9 points, while retrieving task-relevant evidence from thousands of stored keyframes and over an hour into the past.

関連論文