ワークスペースモデル：顕著性駆動型監督による軽量ロボットメモリ
Workspace Models: Lightweight Robotic Memory via Saliency-Driven Supervision
訓練時にVLMでタスクに必要な情報を抽出し、軽量な潜在メモリ「ワークスペーストークン」に蒸留することで、展開時にVLM推論なしで記憶を要する操作タスクを解けるようにした。
詳しい要約
1. どんなもの？
2. 先行研究と比べてどこがすごい？
3. 技術・手法の肝は？
4. どうやって有効だと検証した？
5. 議論はある？
6. 次に読むべき論文は？
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Nitish Dashora, Douglas Chen, Idan Shenfeld, John Marangola, Pulkit Agrawal, Max Simchowitz
分類: cs.RO, cs.AI
原文アブストラクト
Complex robotic manipulation tasks frequently require a long-term memory of past events and actions. As conditioning on full histories renders policies prone to spurious correlations and degrades performance, many approaches to policy memory involve compressing historical information through expensive VLM queries in-the-loop to process only task-salient information. In this paper, we propose an alternative approach in which computationally intensive VLM queries are made during train-time to learn a lightweight latent memory that can be efficiently queried at deployment time. Our representation, which we call the \textbf{workspace token}, is trained by (1) using a VLM to identify current and historical information necessary for completing a task, then (2) distilling these into the workspace token using a set-reconstruction decoder loss. In both simulation and hardware, we show that the workspace token can be used as a drop-in replacement for observations during deployment, enabling policies to solve memory-intensive tasks without the need for VLM reasoning in-the-loop. Interestingly, we found that workspace tokens are not only more lightweight but also lead to better policy performance.
関連論文
- SeeQ: 長期的ロボットマニピュレーションのための汎用価値関数の学習マニピュレーション
- グリッパを考慮した不規則物体の自動高密度パッキングマニピュレーション
- 事前学習から熟達へ：最小限の人的介入で長期的マニピュレーションを実現する実世界サブタスクRLマニピュレーション
- ForceTwin: 計測された人間の操作からロボットマニピュレーションのための物理情報デジタルツインを構築マニピュレーション
- 並列シミュレーションにおけるロボットマニピュレーションのための視覚言語報酬学習のスケーリングマニピュレーション
- 細粒度物体操作に向けて：SAM3誘導視覚運動ポリシーと持続的メモリ学習および集中視覚条件付けマニピュレーション