PEARS: 物理事前知識と触覚フィードバックによる失敗推論・拡散誘導を用いた効率的適応

PEARSは、触覚フィードバックを備えた事前学習済みロボットポリシーを、実世界でのOOD状況に適応させるための、物理事前知識に基づくハイブリッドRLフレームワーク。 - 目的: 展開時の性能劣化を、実世界インタラクションによるpost-trainingで改善する。 - 課題: RLベースのpost-trainingは環境インタラクションを大量に必要とし、操作では各試行が遅く高コスト・破壊的になりやすい。 - 構成: physics-guided force reasoning (PFR) モジュールと、tactile-conditioned diffusion steering reinforcement learningを組み合わせる。 - 対象: 触覚フィードバックを用いたmanipulationタスク。

RLベースのpost-trainingは多くの環境インタラクションを要する点が課題だった。 - 提案手法は、物理事前知識と触覚を活用し、サンプル効率の高いオンライン適応を実現する。 - シミュレーションで、最強のper-taskベースラインに対し成功率を12.4-37.4 percentage points改善。 - 一定成功率閾値に必要なインタラクションepisode数を、最速ベースライン比で最大53.2%削減。 - 実世界でWhiteboard Erasing 95%、Pipette Liquid Aspiration 90%の成功率を達成。

物理事前知識に基づくハイブリッドRLフレームワーク。 - physics-guided force reasoning (PFR): 各episode後、vision-language model (VLM)にエンコードされた物理事前知識を使い、視覚結果と触覚インタラクション履歴から失敗を診断し、タスクに適した接触力のboundsを更新。 - high-frequency hybrid force-position controller: 接触中にこれらのboundsを強制。 - tactile-conditioned diffusion steering reinforcement learning: 凍結したflow-matching policyの潜在ノイズを調整し、自由空間運動と接触タイミングの誤りを修正。ベースモデルは更新しない。

シミュレーションと実世界実験で検証。 - シミュレーション: 最強のper-taskベースラインに対し成功率を12.4-37.4 percentage points改善。一定成功率閾値までのインタラクションepisode数を最速ベースライン比で最大53.2%削減。 - 実世界: Whiteboard Erasingで95%、Pipette Liquid Aspirationで90%の成功率。 - プロジェクトサイト: https://song-kun.github.io/pears

PFRモジュールとpolicy steeringの組み合わせが、適応を加速しつつ高コストなインタラクションを削減できることを示す。 - 詳細な限界や失敗事例、計算コスト、VLMの誤診断リスクなどは要旨からは不明。 - 実世界タスクは2種類のみで、一般化可能性の議論は要旨からは不明。

要旨で参照/比較されている研究は明示されていない。 - 関連手法として、RL-based post-training、vision-language model (VLM)、flow-matching policy、diffusion steering、hybrid force-position control、tactile manipulationが挙げられる。 - 同分野の定番として、robot manipulationにおけるsim-to-real transferやtactile reinforcement learningの論文を読むとよい。