プロキシポリシー操縦による推論時適応

Proxy Policy Steering (PPS) は、大規模データで事前学習された汎用ロボットポリシー（例：pi 0.5）を、限られたデモンストレーションで新しいタスクに特化させるための推論時適応手法。2つの軽量なproxy policy（reference proxyとtask proxy）を訓練し、それらの速度空間での差を計算して、凍結されたベースのサンプラーを各denoising stepで操縦する。ベース自体は変更しないため、その広範な能力（失敗からの回復など）を維持しつつ、タスク固有の行動を引き出す。

従来のfine-tuning（LoRAなど）はベースの広範な能力を劣化させる可能性があるが、PPSはベースを凍結するため能力を保持する。また、from-scratch specialistsやresidual policiesはベースの事前知識を活用しきれないか、追加パラメータが多い。先行のinference-time steering手法と比べ、PPSはキャリブレーションされた速度残差を用いる点が新しく、タスク監視による変化を正確に分離する条件を理論的に特定している。さらに、ベースのパラメータにアクセスせずに適用可能で、訓練が軽量。

PPSは2つのproxy policyを訓練する。reference proxyはターゲットタスクの観察に対する凍結ベースの行動を模倣し、task proxyはreferenceから初期化され、タスク監視（デモ）でその行動がどう変わるかを学習する。この2つの速度予測の差が、各denoising stepでベースのサンプラーを操縦するキャリブレーションされた速度残差となる。この残差がタスク監視による変化を分離する条件を特定し、それを経験的に検証。ベースは前方速度予測のみに使われ、パラメータは不要。

8つの実世界と4つのシミュレーション操作タスクで評価。PPSは最先端のpi 0.5ベースポリシーに対して平均53%の絶対成功率向上を達成し、ベースが全く解けなかったタスクではゼロから1への改善を示した。また、ベースの広範な能力を維持することを確認。LoRA fine-tuning、from-scratch specialists、residual policies、先行のinference-time steering手法と比較して優位性を示した。

要旨からは、PPSの理論的条件が実際にどの程度満たされるか、またproxy policyの訓練に必要なデモ数や計算コストの詳細は不明。さらに、ベースの能力維持の評価方法（具体的なタスク）や、PPSがベースの能力をどの程度保持するかの限界についての議論は要旨に含まれていない。また、PPSがベースのパラメータにアクセスせずに適用可能とあるが、proxy policyの訓練にはベースの出力が必要であり、その実用性に関する議論は不明。

要旨で参照されている研究は、pi 0.5ベースポリシー、LoRA fine-tuning、from-scratch specialists、residual policies、先行のinference-time steering手法。次に読むべき論文としては、pi 0.5の元論文（Physical Intelligenceのロボット基盤モデル）、LoRA（Low-Rank Adaptation）、およびinference-time steeringの関連研究（例：diffusion policyのsteering手法）が挙げられる。