VISTA: 視覚から推定する空間接触注意による高密度接触操作

VISTA-Policyは、接触リッチな操作タスクのための模倣学習パラダイムである。Visual Deformation Field (VDF)と呼ばれる、コンプライアントグリッパの3D変位表現を高次元の視覚物理フィードバックとして利用する。フレームワークは、1) リアルタイムVDFデコードのためのPhysics-Aware Encoding Engine、2) 真の相互作用信号を分離するEnergy Aggregation Denoising Mechanism、3) 精密な閉ループ補正のための増分グリッパアクションを備えたDeformation-Augmented Policy Networkを統合する。

従来の視覚中心の模倣学習は、外部視覚観測が接触状態について間接的で曖昧な手がかりしか提供しない（特に遮蔽や微妙な物体-グリッパ相互作用下で）という問題があった。専用の触覚センサや力センサは豊富な接触情報を提供するが、ハードウェアの複雑さ、較正要件、展開コストが増加する。VISTA-Policyは、追加センサなしで視覚から高次元の接触情報を抽出することで、このギャップを埋める。

手法の肝は、コンプライアントグリッパの変形を3D変位場（VDF）として表現し、これを視覚フィードバックとして利用すること。Physics-Aware Encoding EngineがVDFをリアルタイムでデコードし、Energy Aggregation Denoising Mechanismがノイズから真の相互作用信号を分離する。Deformation-Augmented Policy Networkは、増分グリッパアクションを生成し、精密な閉ループ補正を可能にする。

Cross-Scale Object Grasping、Cap Unscrewing、Calligraphy Writingの3つのタスクで評価した。強力な純視覚ベースラインである3D Diffusion Policyと触覚ベースラインを上回る性能を示した。さらに、未見の物体スケールへのout-of-distribution汎化と動的擾乱に対するロバスト性を実証した。

要旨からは、VDFの計算コストや実世界でのデプロイメントの詳細、他のタスクへの適用可能性、触覚センサとの比較における具体的なトレードオフ（例えば、触覚センサの方が情報が豊富かもしれないが、VISTAはコストと複雑さを低減できる）などについての議論は不明。また、VDFがグリッパの変形に依存するため、剛体グリッパには適用できない可能性がある。

要旨で参照されている3D Diffusion Policy（純視覚ベースライン）と触覚ベースラインの研究。また、関連する視覚ベースの模倣学習や接触推定の研究（例えば、視覚触覚センサや視覚からの力推定）が考えられるが、具体的な論文名は要旨からは不明。