VLA/移動操作2026/8/11arXiv:2608.10756v1

意味的3Dガウススプラッティングによるオープンボキャブラリ移動操作のための身体化マルチモーダル基盤付け

Embodied Multimodal Grounding for Open-Vocabulary Mobile Manipulation via Semantic 3D Gaussian Splatting

家庭内の局所作業空間で、言語・視覚・3Dシーン構造・動作可能性を統合し、オープンボキャブラリの目標物体を少数例で操作するためのフレームワークを提案。能動的なマルチビュー意味的3Dガウススプラッティングと拡散型VLAポリシーを組み合わせ、実ロボット評価で既存手法を上回る成功率を達成した。

詳しい要約

1. どんなもの？

本論文は、オープンボキャブラリのターゲット接地と数ショット操作を家庭内の局所作業空間で行う、身体化されたマルチモーダル接地フレームワークを提案する。能動的多視点Semantic 3D Gaussian Splatting (Semantic-3DGS)、到達可能性を考慮したベース位置決め、拡散ベースのvision-language-actionポリシーを統合する。タスク駆動の局所Semantic-3DGSが、能動的センシング、言語条件付き3D位置特定、障害物認識シーン推論、ベース準備、アクションモデルのセマンティック条件付けの共有インターフェースとして機能する。

2. 先行研究と比べてどこがすごい？

先行研究のVLAアプローチ（PointVLA、DexVLAなど）と比較して、明示的で更新可能な3Dセマンティック接地を導入し、実ロボット評価で長期的成功率60%を達成（PointVLA 40%、DexVLA 28%）。また、高密度クラッタ環境で74%の成功率（単一視点変種52%、PointVLA 46%）、75cmの高さ変化でも75%の成功率を維持し、写真誘発の誤把持を排除。これにより、クラッタ、遮蔽、視点変動、身体性制約下でのロバスト性向上を示した。

3. 技術・手法の肝は？

手法の肝は、タスク駆動の局所Semantic-3DGSを共有インターフェースとして使用し、能動的マルチビューセンシング、言語条件付き3D位置特定、障害物認識シーン推論、ベース位置決め、アクションモデルのセマンティック条件付けを統合する点。事前学習済みのアクション事前分布を保持するため、3Dセマンティックキューは後期のアクションエキスパートブロックにのみ注入される。

4. どうやって有効だと検証した？

拡張された50トライアルの実ロボット評価を、代表的なVLAアプローチ（PointVLA、DexVLA）と比較して実施。長期的成功率60%対40%と28%、高密度クラッタ操作で74%対52%（単一視点変種）と46%（PointVLA）、75cmの高さシフトで75%の成功率を維持し、写真誘発の誤把持を排除することを検証した。

5. 議論はある？

要旨からは、提案手法の限界や潜在的な欠点についての議論は不明。ただし、明示的で更新可能な3Dセマンティック接地がロバスト性を向上させることを示唆しているが、計算コストや一般化の範囲については言及がない。

6. 次に読むべき論文は？

要旨で参照されているPointVLAとDexVLAが関連研究として挙げられる。また、Semantic 3D Gaussian Splattingの基礎となる3D Gaussian Splatting、および拡散ベースのvision-language-actionポリシーに関する研究が関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Huosen Ou, Dongni Song, Yuncong Wang, Tao Zhou, Yiding Ji

分類: cs.RO, cs.CV

原文アブストラクト

Embodied mobile manipulation requires language, visual observations, three-dimensional scene structure, and action feasibility to be aligned before execution. We study open-vocabulary target grounding with few-shot manipulation in local household workspaces and present an embodied multimodal grounding framework that integrates active multi-view Semantic 3D Gaussian Splatting (Semantic-3DGS), reachability-aware base positioning, and a diffusion-based vision-language-action policy. A task-driven local Semantic-3DGS serves as a shared interface across active sensing, language-conditioned 3D localization, obstacle-aware scene reasoning, base preparation, and semantic conditioning of the action model. To preserve pretrained action priors, the 3D semantic cues are injected only into the late action-expert blocks. In expanded 50-trial real-robot evaluations against representative vision-language-action (VLA) approaches, the full system achieves 60% long-horizon success compared with 40% for PointVLA and 28% for DexVLA, and reaches 74% success in heavily cluttered manipulation compared with 52% for the single-view variant and 46% for PointVLA. It also maintains 75% success under a 75 cm height shift and eliminates photo-induced false grasps. These results indicate that explicit, refreshable 3D semantic grounding can improve robustness under clutter, occlusion, viewpoint variation, and embodiment constraints.

arXivで原文を読む →arXiv概要ページ

← 論文一覧