アドバンテージ重み付き潜在ステアリング：ワンステップ生成型ロボット操作ポリシーの改善

- 人間収集の実ロボット操作デモに含まれる mixed-quality な軌道（ためらい・遠回り・非効率な区間）を扱うための offline post-training 手法。 - 対象は diffusion-/flow-based な one-step 生成型 manipulation policy。 - 学習済み policy を凍結したまま、latent noise への residual correction（residual noise shaper）を学習する。 - 推論は single-step のまま高速性を維持する。

- 標準 BC は全デモ行動に等しい尤度を与え、suboptimal mode を再現しうる点が課題。 - offline RL の value 推定で高価値 mode へ誘導する発想は自然だが、生成 policy の直接 fine-tuning や critic gradient による steering は critic 誤差を増幅し prior drift を招く。 - AWLS は advantage を detached・scale-normalized な supervised weight としてのみ使い、critic-gradient 更新を避ける点が異なる。 - decoder を更新せず prior からの drift を抑えつつ改善する点が主張。

- 凍結した one-step 生成 policy に対し、observation-conditioned な latent noise の residual correction を出力する residual noise shaper を学習。 - 学習目的は advantage-weighted action reconstruction。 - advantage は detached・scale-normalized し、デモ行動への supervised weight としてのみ使用。 - critic-gradient による policy 更新を行わない。 - rollout-free の decoder-sensitivity criterion で、latent-noise 摂動に応答する pretrained checkpoint を選択。

- シミュレーションおよび実世界のロボット操作タスクで検証。 - clean なデモと mixed-quality なデモの両方を使用。 - 凍結した base policy に対する改善と、pretrained behavior prior からの drift 抑制を評価。 - 具体的なタスク数・指標・ベースラインは要旨からは不明。

- critic 誤差の増幅と prior drift を避ける設計を主張しているが、critic 品質への依存度や限界は要旨からは不明。 - advantage を supervised weight としてのみ使うことの理論的・実証的限界は要旨からは不明。 - decoder-sensitivity criterion の一般性や他手法への適用可能性は要旨からは不明。 - 実世界での詳細な失敗事例や計算コストは要旨からは不明。

- 比較対象として想定される diffusion policy / flow-based policy などの one-step 生成型 manipulation policy。 - 標準 behavior cloning (BC)。 - offline RL の value estimate を用いた policy steering / fine-tuning 手法（critic-gradient を用いるもの）。 - advantage-weighted 系の offline RL（例: advantage-weighted regression 系）と、本論文が参照する具体的な prior 研究は要旨からは不明。