Attention from Action, for Action: Emergent Visual Bottlenecks for Policy Learning

Seekerは、視覚的ボトルネック（ROI）を学習する手法を提案する。タスクと状態に条件付けられた読み出し機構を用いて、凍結したDINOv3特徴から、アクション監視のみで進行状況を考慮したROIを反復的に生成する。このROIは、RGBクロッピング、マスク誘導背景拡張、点群フィルタリングの空間インターフェースとして機能し、データ効率的な視覚運動学習を実現する。

従来のROIインターフェースは、視線、物体クラス、アフォーダンス注釈などの外部空間ラベルに依存するか、ラベルなしでは軌跡からグリッパーやモーションイベントを検出し、投影されたエンドエフェクタを中心に固定クロップを生成する。これらのアクション由来クロップは、イベントタイミング、プロキシポイント、クロップスケールの固定選択をコード化しており、制御に必要な視覚的証拠がエンドエフェクタから離れている場合やタスク進行に応じて連続的に変化する場合に不整合が生じる。Seekerは、アクション監視のみから注意を学習することで、外部ラベルを必要とせず、タスク進行に適応するROIを生成する点が新しい。

Seekerは、タスクと状態に条件付けられた読み出し機構を備える。凍結したDINOv3特徴から開始し、クエリを反復的に更新して視覚的証拠を収集し、アクション監視のみから進行状況を考慮したROIを生成する。学習されたROIは、RGBクロッピング、マスク誘導背景拡張、点群フィルタリングのための空間インターフェースとして機能する。

シミュレーションと実世界の両方で評価された。実ロボットでは、平均ドメイン内成功率が最良ベースラインの48.3%から76.7%に向上し、照明/背景シフト下での成功率が20.0%から60.0%に向上した。また、ノークロップ、拡張、アクション由来クロップのベースラインと比較して、データ効率とロバスト性が向上した。

要旨からは、Seekerの限界や潜在的な欠点についての議論は不明である。ただし、アクション監視のみに依存するため、アクションが視覚的証拠と強く相関しないタスクではROIの学習が困難になる可能性が考えられるが、要旨には明記されていない。

要旨で参照されているDINOv3に関する論文、および視覚的ボトルネックやアクション由来クロップに関する関連研究（例：gaze-based ROI、affordance-based ROI、action-derived crop methods）が挙げられる。具体的には、DINOv3の元論文や、視覚運動学習における注意機構を用いた研究が関連する。