日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ポリシー適応arXiv:2611.25199

視覚幾何学的ポリシーステアリングによる分布外適応

VG-Steer: Visual-Geometric Policy Steering from In-Context Aligned Abstractions

シェア:XThreadsFacebookLINEはてブBluesky

大規模視覚モデルと視覚言語モデルを活用し、物体間距離の幾何学的情報に基づいて既存ポリシーを推論時に補正するVG-Steerを提案。実機ケーブル配置タスクで成功率を2倍以上に向上させた。

詳しい要約

1. どんなもの?

- VG-Steer は、凍結したロボット政策(frozen policy)を推論時に補正する test-time adaptation 手法。 - 成功した in-distribution ロールアウトの微妙な運動を、object-relational distance pairs という幾何軸に沿って転写する。 - LVMs と VLMs の意味推論を組み合わせ、視覚-幾何ガイダンス信号を生成する。 - 対象は flow-matching policies で、OOD 設定(pose shift、task-goal shift)への適応を狙う。

2. 先行研究と比べてどこがすごい?

- 多くの test-time adaptation は補正信号をロボットデータから暗黙的に学習するため、補正対象の政策と同じ分布シフトに弱い。 - 明示的な空間情報を使う既存手法は粗い補正に留まり、操作に必要な微妙な運動を捉えにくい。 - VG-Steer は in-distribution の成功ロールアウトの微妙な運動を幾何軸上で転写し、LVMs/VLMs の意味理解で対象ペアを選ぶ点が異なる。

3. 技術・手法の肝は?

- 成功した in-distribution ロールアウトから、object-relational distance pairs に沿った運動を抽出する。 - LVMs と VLMs の推論で、タスクに関連する entity pairs を特定する。 - それらの object-relational distance projections を統合し、単一の tailored visual-geometric guidance signal を作る。 - この信号で凍結した flow-matching policy を推論時に補正する。

4. どうやって有効だと検証した?

- シミュレーションベンチマークで、pose shift と task-goal shift 下の flow-matching policies を効率的に補正できることを示した。 - 実ロボット実験で、凍結政策のカバーするワークスペース領域を拡大した。 - 訓練位置から1グリッド外の cable placements で成功率を2倍以上にした。 - 未訓練物体へ単一タスク政策を誘導し、物体混同をほぼ排除した。

5. 議論はある?

- 要旨からは不明(限界や失敗ケース、計算コスト、LVMs/VLMs の誤りへの感度などは明示されていない)。 - 実ロボット実験は cable placements と単一タスク政策の物体誘導に限定されており、一般性の議論は要旨からは不明。

6. 次に読むべき論文は?

- flow-matching policies(元の凍結政策) - test-time adaptation の既存手法(暗黙信号ベースのもの) - 明示的空間情報を用いる粗い補正手法 - Large Vision Models (LVMs) / Vision-Language Models (VLMs) を用いたロボット政策研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Arthur Bucker, Pramod Anantharam, Jonathan Francis, Jean Oh

分類: cs.RO, cs.AI

原文アブストラクト

Adapting robot policies to out-of-distribution (OOD) settings with limited real-world data remains a key bottleneck to generalist robots. The multimodality and scarcity of robotics data lead end-to-end approaches to overfit and break under small distribution shifts. Test-time adaptation can alleviate this by correcting frozen policies at inference, but most methods ground their correction in a signal learned implicitly from robotic datasets, making it susceptible to the same shifts as the policy it corrects. Recent methods that instead exploit explicit spatial information are typically limited to coarse corrections, missing the nuanced, task-relevant motion most manipulation tasks require. We propose VG-Steer, which corrects existing policies by transferring the nuanced motion of successful in-distribution rollouts, captured along meaningful geometric axes, known here as object-relational distance pairs. VG-Steer leverages the semantic understanding of Large Vision Models (LVMs) and Vision-Language Models (VLMs) reasoning, which combines the task-relevant entity pairs and their object-relational distance projections into a single tailored visual-geometric guidance signal. In a simulation benchmark, it efficiently corrects flow-matching policies under pose and task-goal shifts; on a real robot experiment, it widens the region of the workspace the frozen policy covers, more than doubling its success rate on cable placements one grid step outside the training positions, and steers a single-task policy toward objects it was never trained on while nearly eliminating object confusion. Project website: https://arthurfenderbucker.github.io/VG-Steer/

  1. 1パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  2. 2川崎重工業のロボット外販を報道新製品・発表
  3. 3Boston Dynamics、GlobalFoundriesでAtlasを試験へ 半導体製造で2027年初頭から半導体・GPU
  4. 4丸文、RealManのロボットアームやヒューマノイドを国内販売提携・買収
  5. 5NVIDIA、SC26で科学研究向けAIエージェントとHPC基盤を発表新製品・発表

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI