TacSushi: 触覚に基づく世界行動モデリングによる器用な寿司操作

- 寿司の把持・加工など変形・遮蔽・接触不確実性を伴うdexterous food manipulationのためのtactile-grounded world-action policy。 - Cosmos3をbackboneとし、現在のRGB・language・hand stateを符号化。 - fingertip tactileをfeature-wise gated fusionでaction表現に統合。 - 訓練時のみfuture visual observations・task progress・relative contact risk・tactile summariesを予測するdecoderを使用し、deployment時は除去。 - 成功340・失敗50の実機trialで学習。

- future-consequence supervisionなし(36.7%/10.0%)やtactileの直接concatenation(25.0%/17.5%)と比較し、Full TacSushiはin-distribution 68.3%、out-of-distribution 37.5%を達成。 - feature-wise gated tactile fusionとtraining-only predictive supervisionの相補的効果を示す。 - 失敗trialのconsequence supervisionを活用しつつ、そのactionはimitationから除外する点が特徴。

- Cosmos3ベースのworld-action policy。 - backboneがcurrent RGB・language・hand stateを符号化。 - feature-wise gated fusionでfingertip tactile featuresをaction representationへ統合。 - 訓練時、demonstrated action chunksに条件付けられたdecoderがlogged future visual observations・task progress・relative contact risk・tactile summariesを予測。 - deployment時はdecoderを削除。 - 失敗trialはconsequence supervisionにのみ使用し、actionはimitationから除外。

- 340成功・50失敗のreal-robot trialsで学習。 - 3つのin-distributionタスクと2つのout-of-distribution ingredient variantsにわたり、600 rolloutsで6手法を比較。 - 終端成果をanchored visual-quality protocolで評価。5つのhuman ratingsと3つのvision-language-model ratingsを等重みでスコア化。 - Full TacSushiはin-distribution 68.3%、out-of-distribution 37.5%の平均成功率。

- feature-wise gated tactile fusionとtraining-only predictive supervisionの相補的利点が比較結果から支持される。 - 失敗trialのactionをimitationから除外しつつconsequence supervisionに用いる設計の有効性が示唆される。 - 限界や今後の課題についての具体的な議論は要旨からは不明。

- Cosmos3 - feature-wise gated fusion - tactile-grounded world-action modeling - dexterous food manipulation - anchored visual-quality protocol - vision-language-model ratings