日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
VLAarXiv:2610.29866

GeoMem-VLA：3Dシーン理解を時系列メモリに内在化する視覚言語行動モデル

GeoMem-VLA: Internalizing 3D Scene Understanding into Temporal Memory for Vision-Language-Action Models

シェア:XThreadsFacebookLINEはてブBluesky

凍結した幾何基盤モデルの監督で学習する幾何トークンを時系列メモリとして保持し、推論時に3D再構成なしで行動生成できるVLAフレームワークを提案した論文。

詳しい要約

1. どんなもの？

- ロボット操作のための VLA（Vision-Language-Action）フレームワーク「GeoMem-VLA」 - 明示的な 3D 監督を専用の geometric tokens に内部化し、temporal memory として保持 - 推論時に 3D teacher や明示的な scene reconstruction を必要とせずに action を生成 - LIBERO、RoboTwin、実世界 5 タスクで評価された手法

2. 先行研究と比べてどこがすごい？

- 多くの VLA は現在観測の 2D 表現に依存 - geometry-aware 手法は追加の 3D 情報を必要とすることが多い - 個別観測から独立に推定した geometry は persistent な task 表現に蓄積されず捨てられがち - 本研究は完全な renderable 3D reconstruction ではなく、継続更新可能な compact で task-relevant な geometric abstraction を action 生成に用いる点が異なる - VLM の native visual embeddings を teacher feature space に直接 align しない点も特徴

3. 技術・手法の肝は？

- 学習時：frozen な geometry foundation model が learnable な GeoPlan tokens を監督 - 監督は current scene point map と future end-effector tracks に対する geometric flow-matching objective - GeoPlan tokens を observation representations の memory と統合 - 履歴情報を retrieve し、現在観測と adaptive に fuse、task 進行に伴い event frames を consolidate して保持 - 推論時：履歴表現を retrieve して現在の working representation と fuse し action を予測（3D teacher や明示的 reconstruction は不要）

4. どうやって有効だと検証した？

- LIBERO で平均 98.9% の success - RoboTwin の clean/randomized 設定で 91.10% / 91.24% - 実世界 5 タスクで平均 78.0% の success - いずれも benchmark-specific な downstream adaptation 後の結果

5. 議論はある？

- 3D scene understanding を内部化し記憶することが robot control への有望なアプローチであると示唆 - 具体的な限界や失敗事例、ablation の詳細は要旨からは不明 - memory の consolidate 方法や geometric flow-matching の設計に関する議論の有無は要旨からは不明

6. 次に読むべき論文は？

- 要旨で参照・比較されている個別研究は明示されていない - 関連手法として geometry foundation model、flow-matching、VLA（Vision-Language-Action）モデル、LIBERO / RoboTwin benchmark 周辺の研究を挙げる - 具体的な次読論文は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Qinfan Zhang, Yifan Luo, Haoyuan Shi, Guanlin Liu, Han Dong, Haozhe Shan, Yong Dai, Xiangcong Ren, Xiaozhu Ju

分類: cs.CV

原文アブストラクト

Geometric structure is essential for robotic manipulation and understanding the 3D world. Most VLA models rely on 2D representations of current observations, while geometry-aware approaches often require additional 3D information. However, geometry inferred independently from individual observations is often discarded rather than accumulated into a persistent task representation. Our key insight is that action generation needs a compact, task-relevant geometric abstraction that can be continuously updated, rather than a complete, renderable 3D reconstruction at every step. We introduce GeoMem-VLA, a VLA framework that internalizes explicit 3D supervision into dedicated geometric tokens and maintains them as temporal memory for action generation, without directly aligning the VLM's native visual embeddings with the teacher feature space. During training, a frozen geometry foundation model supervises learnable GeoPlan tokens through a geometric flow-matching objective over the current scene point map and future end-effector tracks. These tokens are integrated with the memory of observation representations, where historical information is retrieved, adaptively fused with current observations, and consolidated to retain event frames as the task progresses. At inference, the policy retrieves historical representations and fuses them with the current working representation to predict actions, without invoking the 3D teacher or explicitly reconstructing the scene. After benchmark-specific downstream adaptation, GeoMem-VLA achieves 98.9% average success on LIBERO and 91.10% / 91.24% on RoboTwin's clean/randomized settings. Across five real-world tasks, GeoMem-VLA achieves 78.0% average success. These results suggest that internalizing and remembering 3D scene understanding is a promising approach to robot control.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI