アクションアフィンワールドモデルによる推論時の高速ポリシー改善

- 模倣学習済みの manipulation policy の実行時誤差を、推論時に安価に補正する枠組み。 - 中核は action-affine world model (A²WM) で、policy の nominal 挙動に対する小さな action 修正の局所応答を学習する。 - 学習済み policy と model の重みは凍結したまま、1回の model 評価と1回の QP 求解で refinement を行う。

- 既存の refinement は追加の on-policy learning や高コストな online planning を要することが多い。 - 本研究は pretrained policy を nominal behavior の供給源とみなし、修正の局所応答のみを学習対象に絞る。 - その結果、policy/model を凍結したまま 1 model 評価 + 1 QP 求解という低コストで refinement を実現。

- action-perturbed policy rollouts から局所的な action sensitivity を offline で学習。 - 入力は interaction history と policy proposal。出力は task-relevant geometry を nominal trajectory と修正への線形応答として表現。 - planning horizon 全体を直接予測し、再帰的 model 評価による中間誤差の伝播を回避。 - 予測 task error への二次罰則と線形修正制約により、安価な convex quadratic program (QP) に帰着。

- 4つの simulated manipulation tasks で評価。 - 評価した baselines の中で最高の success rate を達成。 - base-policy sampling を除き、制御ステップあたり平均 3.8 ms の refinement overhead を報告。

- 有効性は 4 つの simulated manipulation tasks で示されるが、実機検証や他タスクへの汎化は要旨からは不明。 - 局所線形応答の仮定が大きい修正に対してどこまで成立するかは要旨からは不明。 - 3.8 ms は base-policy sampling を除く値であり、全体 latency の議論は要旨からは不明。

- 要旨で参照/比較されている具体的な prior refinement 手法名は不明。 - 関連手法として on-policy learning による policy refinement、online planning (MPC 等)、learning-based world model を用いた planning が挙げられる。 - 同分野の定番として imitation learning の error accumulation に関する研究や DAgger 系の interactive imitation learning も参照候補。