N0基盤：触覚知能の時代に向けて

本論文は、触覚を活用した身体化操作（tactile-enabled embodied manipulation）のためのパラダイムである $\mathcal{N}_0$-Foundation を提案する。これは、触覚センシングハードウェア、大規模マルチモーダルデータ、触覚表現学習、標準化された評価を統合する。具体的には、視覚ベースの触覚センサ、触覚対応のUniversal Manipulation Interface (UMI)、ロボット身体とUMIベースのデモンストレーションの両方をサポートする同期視覚-触覚データ収集システムを開発し、30,000時間以上の同期視覚・触覚デモンストレーションを含むデータセットNeoDataを構築した。さらに、5,000時間のオープンソースサブセットOpenNeoDataを公開し、異なるセンサ設計間で転移可能な触覚表現を学習する視覚-触覚表現モデルNeoForceを提案する。また、実世界のNeoRealスイートとシミュレーションのNeoSimスイートを組み合わせた包括的なベンチマークを提供する。

既存の操作コーパスは、変形物体の操作、精密な組立、繊細な力制御、持続的な表面相互作用に必要な触覚データが不足している。本提案は、大規模な同期視覚-触覚データセットを構築し、触覚表現学習と標準化された評価を統合することで、この限界に対処する点が優れている。また、異なるセンサ設計間で転移可能な触覚表現を学習するNeoForceを提案し、触覚データのデバイス固有の外観ではなく物理的接触状態に基づくポリシー学習を可能にする点が新しい。

技術の肝は、①大規模データ収集のためのインフラストラクチャ（視覚ベース触覚センサ、触覚対応UMI、同期視覚-触覚データ収集システム）、②30,000時間以上の同期デモンストレーションを含むNeoDataデータセットの構築、③異なるセンサ設計間で転移可能な触覚表現を学習するNeoForce表現モデル、④実世界とシミュレーションを組み合わせた標準化ベンチマーク（NeoRealスイートとNeoSimスイート）の設計である。

実験は、実世界のNeoRealスイートとシミュレーションのNeoSimスイートの両方で行われ、ポリシーが触覚信号のデバイス固有の外観ではなく物理的接触状態から恩恵を受けることを示した。具体的なタスクや比較対象は要旨からは不明だが、両スイートでの実験により有効性を検証している。

要旨からは、データセットの規模と多様性、表現学習の転移可能性、ベンチマークの標準化に関する議論が考えられるが、具体的な議論や限界は要旨に明記されていない。また、データ収集のコストやセンサの一般化、シミュレーションと実世界のギャップなどが潜在的な議論点として考えられるが、要旨からは不明。

要旨で参照されている関連研究として、触覚センシング、Universal Manipulation Interface (UMI)、視覚-触覚表現学習、身体化操作のベンチマークに関する論文が挙げられる。具体的には、UMIの元論文や、触覚表現学習の既存手法、操作ベンチマーク（例：RLBench、MetaWorld）などが関連するが、要旨に明示されていないため、同分野の定番である視覚-触覚学習や操作学習のサーベイ論文を次に読むことが推奨される。