UniReflex: 高速・低速反射による事前学習生成ポリシーのためのプラグアンドプレイ力制御

UniReflexは、事前学習済みの生成模倣学習ポリシー（frozen generative policies）に、追加の再学習やネットワーク再設計を必要とせず、閉ループ力制御をプラグアンドプレイで付与するフレームワークである。可変インピーダンス制御（VIC）を用いて接触調整を行い、デモンストレーション中に収集した力方向の意図に基づいて動作する。アクションヘッドの深層潜在表現を非侵襲的に傍受し、高速な反射ネットワーク（fast reflex network）を駆動することで、能動的な力の発揮と外部相互作用応答を分離する。適応ゲーティング機構により、位置優位のプランニングと力優位の実行の間をシームレスに遷移させる。実世界の双腕実験で、接触安定性と成功率を向上させつつ、元の位置精度を維持することを示した。

従来の生成模倣学習ポリシーは軌道計画に優れるが、閉ループ力調整が欠如している。一方、力モダリティを直接組み込む手法はネットワークの再設計や再学習を必要とすることが多い。UniReflexは、凍結された生成ポリシーに対して非侵襲的な介入のみで力制御を追加できる点が革新的であり、バックボーンの微調整を不要にする。また、関節訓練戦略と比較して、評価したバックボーン上で1ステップあたりの遅延を25〜66倍低減する。

手法の核心は、事前学習済みポリシーのアクションヘッドから深層潜在表現を傍受し、それを高速な反射ネットワークに入力することである。このネットワークは、能動的な力の発揮と外部相互作用応答を分離するために、正規化された異方性剛性方向を予測し、方向別のコンプライアンス配分を実現する。さらに、適応ゲーティング機構により、位置優位のプランニングと力優位の実行の間の遷移を制御する。これにより、凍結されたポリシーの位置精度を保ちながら、力制御を追加できる。

実世界の双腕実験を通じて検証された。具体的には、接触安定性と成功率の向上を確認し、元の位置精度が維持されることを示した。また、関節訓練戦略と比較して、評価したバックボーン上で1ステップあたりの遅延が25〜66倍低いことを実証した。

要旨からは、議論の詳細は不明である。ただし、提案手法が凍結ポリシーに依存するため、ポリシーの表現力や潜在表現の質に影響を受ける可能性が考えられる。また、力制御の性能はデモンストレーションで収集した力方向の意図に依存するため、デモの質や多様性が重要となるかもしれない。さらに、双腕実験のみで検証されており、単腕や他のタスクへの一般性については言及されていない。

要旨で参照されている関連研究は明示されていないが、生成模倣学習（generative imitation learning）や可変インピーダンス制御（variable impedance control）に関する基礎論文が挙げられる。具体的には、Diffusion PolicyやACTなどの生成ポリシー、およびインピーダンス制御の古典的文献（Hoganのインピーダンス制御）が関連する。