Spark-0: 空間的に整合した触覚事前学習をスケールさせたロボット巧みな操作

- 接触が重要な dexterous manipulation 向けの spatially aligned vision-tactile-language-action (VTLA) モデル Spark-0 を提案。 - 事前学習では tactile glove 由来の image-space contact maps と frozen 3D geometry teacher の特徴で visual tokens を監督し、推論時にはこれらを除去。 - 並行して tactile pathway が regional force histories と 3D taxel states を符号化し action expert を条件付け。 - 単一 checkpoint で vision-only と tactile-conditioned の両展開に対応。 - 1,000 時間の full-hand tactile human manipulation データセット HumanTouch と、評価用 SparkArena を構築。

- 従来の generalist robot policies は大規模 visual pretraining に依存するが、force・compliance・incipient slip を画像から観測しにくい contact-rich 操作が苦手。 - 本研究は touch を policy 入力だけでなく、dexterous visuomotor pretraining の scalable supervision としても使う点が新しい。 - 同一データ・計算で touch を捨てた vision-only pretraining と比較し、HumanTouch の touch 保持で Ego Humanoid の vision-only 成功率が 52.5%→71.7%、SparkArena-Real が 44.0%→52.0% に向上。 - SparkArena は vision-only 模擬タスクと tactile-conditioned 実機タスクを同一 dexterous embodiment で対にする点が特徴。

- spatially aligned な VTLA モデルで、視覚・触覚・言語・行動を統合。 - 事前学習時のみ、tactile glove から得た image-space contact maps と frozen 3D geometry teacher の特徴で visual tokens を監督。 - 推論時にはこれらの監督目的を除去し、単一 checkpoint で vision-only 展開も可能。 - tactile pathway は regional force histories と 3D taxel states を符号化し action expert を条件付け。 - HumanTouch、egocentric video、robot data、simulation を併用して事前学習をスケール。

- SparkArena の vision-only 模擬タスクと tactile-conditioned 実機タスクの両トラックで最高平均成功率を達成。 - Ego Humanoid Manipulation Benchmark の 8 つの aggregate metrics すべてで 1 位。 - 同一データ・計算で touch を捨てた vision-only pretraining との比較を実施。 - HumanTouch の 1,000 時間の touch 保持により、Ego Humanoid の vision-only 成功率 52.5%→71.7%、SparkArena-Real 44.0%→52.0% を確認。

- touch が policy 入力にとどまらず、dexterous visuomotor pretraining の scalable supervision として機能することを示唆。 - 事前学習時の contact maps と 3D geometry teacher による監督は推論時に除去され、単一 checkpoint で vision-only と tactile-conditioned の両展開を可能にする設計上の利点。 - 限界・失敗事例・計算コスト・データ収集バイアスなどの詳細は要旨からは不明。

- 要旨で参照・比較されている vision-only pretraining と同一データ・計算での対照実験。 - frozen 3D geometry teacher を用いた監督手法。 - Ego Humanoid Manipulation Benchmark。 - 関連手法として generalist robot policies、vision-tactile-language-action (VTLA) モデル、tactile glove ベースの contact map 学習。