VLA2026/9/14arXiv:2609.15014

辞書式選好による生成ロボット方策の誘導

Steering Generative Robot Policies with Lexicographic Preferences

凍結した拡散・フローマッチング方策を推論時に誘導し、優先順位付きの制約と選好を守らせる手法を提案。ナビゲーションとLIBERO操作で成功率を維持しつつ遵守率を改善。

詳しい要約

1. どんなもの？

- 事前学習済みの生成ロボットポリシーを、展開時にlexicographicな優先順位付き要件・選好に従わせる推論時steering手法。 - diffusionまたはflow matchingベースのfrozenポリシーを対象とし、重みは変更しない。 - ナビゲーションとLIBEROのmanipulationで検証。

2. 先行研究と比べてどこがすごい？

- 従来のweighted-sumベースのtuning手法と比較して、lexicographicな順序へのcomplianceが大幅に向上。 - frozenポリシーのまま推論時にsteering可能。 - 固定weightが望ましい順序に一致する設定でも、dynamic barrierはより広いパラメータ範囲で同等の最高性能に到達。

3. 技術・手法の肝は？

- samplerに2つの変更を導入。 - 第一に、dynamic-barrier guidanceをサンプル軌道に適用し、低優先度の更新が高優先度のコストを増加させないよう制約（一次近似まで）。 - 第二に、各優先度レベルに従って候補サンプルを逐次フィルタリングするcascadeで実行サンプルを選択。 - ポリシーの重みは変更しない。

4. どうやって有効だと検証した？

- ナビゲーションベンチマークで、success、traversability、preference complianceがfrozenポリシーより改善。 - tuned weighted-sumベースラインよりcomplianceが大幅に良い。 - LIBEROのflow-matching manipulationポリシーに転移し、task successを低下させずにcomplianceを改善。 - 制御されたmanipulation研究で、固定weightが望ましい順序に一致する設定において、dynamic barrierがより広いパラメータ範囲で同等の最高性能に到達。

5. 議論はある？

- 要旨からは不明。

6. 次に読むべき論文は？

- diffusionまたはflow matchingベースの生成ロボットポリシーに関する研究。 - weighted-sumベースのtuning手法。 - LIBEROベンチマーク。 - ナビゲーションベンチマーク。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yixuan Jia, Jonathan P. How

分類: cs.RO, cs.AI

原文アブストラクト

Pretrained generative robot policies can produce effective behaviors across diverse environments, but deployment can lead to requirements and preferences that may not have been represented during training. Furthermore, at deployment, an operator, user, or application may assign these requirements and preferences a priority order that can vary across deployments. For example, embodiment-specific feasibility constraints may need to be satisfied first, while user-specific preferences guide behavior among the feasible options. We show that a frozen generative robot policy---based on either diffusion or flow matching---can be steered at inference time to respect such lexicographically ordered deployment objectives. To achieve this, we introduce two modifications to the sampler. First, we apply dynamic-barrier guidance to sampled trajectories, constraining lower-priority updates so that higher-priority costs do not increase (up to first order). Second, we select the executed sample using a cascade that successively filters candidate samples according to each priority level. The policy weights remain unchanged. On a navigation benchmark, we demonstrate that our method improves success, traversability, and preference compliance over the frozen policy, and achieves substantially better compliance than tuned weighted-sum baselines. The same method transfers to a flow-matching manipulation policy on LIBERO, where it improves compliance without reducing task success. A controlled manipulation study further shows that, in settings where a fixed weight can match the desired ordering, the dynamic barrier reaches comparable best performance over a substantially wider range of parameter settings.

arXivで原文を読む →arXiv概要ページ