何が起きたか
2026年8月16日にarXivで公開された論文『Tactile Sim2Real without Tactile Simulation via Bottlenecked Latent Reconstruction』は、触覚センサーのシミュレーションを一切行わずにSim2Real転移を実現するフレームワークSBLR（Sim2Real via Bottlenecked Latent Reconstruction）を提案した。提案手法は、シミュレータ内で点群と指先力を用いたオラクルセンサーを構築し、実センサーの潜在表現をオラクルセンサーの潜在表現に整列させる。ハードウェア実験では、GelSight MiniとDIGITセンサーを用いたPeg InsertionとGear Meshingタスクで85〜97.5%のゼロショット成功率を達成し、物理ベースの触覚シミュレーションベースラインを7.5〜15%上回った。
詳細
触覚センサーの設計は多様で進化が速く、各センサーをシミュレーションでモデル化するには専門知識と計算コストがかかり、近似による忠実度低下も課題となっている。SBLRはセンサー固有のシミュレーションを回避するため、(1)特定のセンサーをモデル化せずに構築可能なシミュレータ内蔵のオラクルセンサー（例として点群と指先力を使用）でポリシーを訓練し、(2)推論時に実センサーの潜在表現をオラクルセンサーの潜在表現に整列させる。ポリシー訓練は2段階で行われ、まずオラクルセンサーの潜在表現から学習し、次にボトルネック付き潜在再構成により実センサー使用時に予想される情報損失に適応する。オラクルと実センサーの整列は、シミュレーションと実世界で収集したペアなしランダムプレイデータから、最近傍擬似ペアを用いて訓練された整流フローベースの変換ネットワークによって学習される。シミュレーション実験では、3つの接触リッチタスクでSBLRが触覚シミュレーションに直接アクセスできるオラクルと同等かそれに近い性能を示した。
Key Facts
| 論文タイトルは『Tactile Sim2Real without Tactile Simulation via Bottlenecked Latent Reconstruction』で、arXivに2026年8月16日に公開された。 | [1] |
| 提案手法はSBLR（Sim2Real via Bottlenecked Latent Reconstruction）と呼ばれる。 | [1] |
| SBLRはセンサー固有のシミュレーションを回避し、シミュレータ内蔵のオラクルセンサー（点群と指先力を使用）でポリシーを訓練する。 | [1] |
| ポリシー訓練は2段階で、まずオラクルセンサーの潜在表現から学習し、次にボトルネック付き潜在再構成で実センサー使用時の情報損失に適応する。 | [1] |
| オラクルと実センサーの整列は、ペアなしランダムプレイデータから最近傍擬似ペアを用いて訓練された整流フローベースの変換ネットワークで学習される。 | [1] |
| シミュレーション実験では、3つの接触リッチタスクでSBLRがオラクルと同等かそれに近い性能を示した。 | [1] |
| ハードウェア実験では、GelSight MiniとDIGITセンサーを用いたPeg InsertionとGear Meshingで85〜97.5%のゼロショット成功率を達成した。 | [1] |
| SBLRは物理ベースの触覚シミュレーションベースラインを7.5〜15%上回った。 | [1] |
なぜ重要か
触覚センサーの多様性と進化の速さはシミュレーションによるモデル化を困難にしており、Sim2Real転移の障壁となっている。SBLRはセンサー固有のシミュレーションを不要にすることで、この障壁を回避し、実機での高い成功率を達成した。これは触覚を利用したロボット学習の実用性を高める可能性がある。