VLA2026/8/1arXiv:2608.00502

SpatialAfford: コンパクトVLMに「どこを見るか」と「どこに接地するか」を教えるアフォーダンス接地

SpatialAfford: Teaching Compact VLMs Where to Look and Where to Ground for Affordance

アフォーダンス接地の精度を上げるため、まず注意を正解領域に合わせるSpatial Attention Alignmentと、座標予測を強化するSpatial-Aware GRPOの2段階フレームワークを提案。4Bモデルで7B以上のベースラインを上回った。

詳しい要約

1. どんなもの？

SpatialAffordは、コンパクトなVision-Language Model (VLM)のaffordance grounding性能を向上させるための2段階フレームワーク。affordance groundingとは、物体全体ではなく、操作に適した領域（例：取っ手、ボタン）を特定するタスク。SpatialAffordは、座標生成前にモデルの視覚的注意を真のaffordance領域に合わせるSpatial Attention Alignment (SAA)と、座標予測を洗練するSpatial-Aware GRPOを導入する。

2. 先行研究と比べてどこがすごい？

従来のsequence-level supervisionやreinforcement learningは座標予測の質を改善するが、コンパクトなautoregressive VLMは座標生成前にaffordanceを認識した視覚的注意が欠如していた。SpatialAffordは、注意を明示的にaffordance領域に整列させることで、出力制約のみの目的から注意に基づく空間推論へと変換する点が新しい。

3. 技術・手法の肝は？

手法の核は2段階。第1段階のSpatial Attention Alignment (SAA)では、モデルのクロスモーダル注意をground-truthのaffordance領域に整列させる。第2段階では、Spatial-Aware GRPOを用いて座標予測を強化学習で洗練する。これにより、モデルは「どこを見るか」を学習してから「どこを接地するか」を最適化する。

4. どうやって有効だと検証した？

ShareRobot-Bench、ReasonAff、PartAffordの3つのベンチマークで評価。SpatialAffordは一貫してaffordance groundingを改善し、コンパクトな4Bモデルがより強力な7B以上のベースラインを上回った。

5. 議論はある？

要旨からは、提案手法の限界や潜在的な欠点についての議論は不明。ただし、コンパクトなモデルで大きなモデルを凌駕した点は、効率性と性能のトレードオフに関する議論を示唆するが、詳細は不明。

6. 次に読むべき論文は？

要旨で参照されているベンチマーク（ShareRobot-Bench、ReasonAff、PartAfford）や、関連するaffordance groundingの研究、およびVLMの注意機構や強化学習（GRPO）に関する論文が挙げられる。具体的には、affordance groundingの既存手法や、VLMの空間推論を改善する研究が関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yufei Zhang, Chenlu Zhan, Donghui Sun, Xiaoxin Chen, Hongwei Wang

分類: cs.CV

原文アブストラクト

Affordance grounding aims to localize the functional region for interaction, such as the handle to grasp or the button to press, rather than the whole object. This makes it more challenging than generic visual grounding because the target region is smaller, more ambiguous, and more dependent on task context, especially for compact vision-language models (VLMs) used in embodied settings. Recent sequence-level supervision and reinforcement learning improve coordinate prediction quality, yet compact autoregressive VLMs still lack reliable affordance-aware visual focus before coordinate generation: the model can produce better coordinate tokens while its cross-modal attention remains diffuse and weakly anchored to the true affordance evidence. To address it, we propose SpatialAfford, a two-stage framework that first aligns attention to the ground-truth affordance region through Spatial Attention Alignment (SAA), then refines coordinate prediction with Spatial-Aware GRPO. By explicitly teaching the model where to look before optimizing where to ground, SpatialAfford turns affordance grounding from a purely output-constrained objective into attention-grounded spatial reasoning. Across ShareRobot-Bench, ReasonAff, and PartAfford, SpatialAfford consistently improves affordance grounding, with a compact 4B model outperforming stronger 7B+ baselines.

arXivで原文を読む →arXiv概要ページ