接触の多い模倣学習に効く触覚手がかりはどれか：実機ロボットによる統制実験

- 視覚触覚センサー(visuo-tactile sensor)が1つの画像ストリームに含む複数の物理的手がかり(接触外観・形状・押し込み深さ・接線変形)のうち、どれが contact-rich imitation learning に寄与するかを切り分ける controlled real-robot study。 - LeRobot platform に独自の visuo-tactile perception system を拡張して使用。 - 同一 tactile stream から tactile RGB images(接触外観)、normal/depth maps(形状)、marker-flow fields(接線変形)を導出し、同一デモと同一 policy backbone で個別・組合せの寄与を評価。 - tactile encoder と visuo-tactile fusion strategy の比較も行う。

- 既存の visuo-tactile policy は tactile observation を画像として直接処理するため、どの物理的手がかりが policy learning に効くか特定しにくい。 - 本研究は同一 tactile stream から物理的解釈可能な複数 cue を分離し、同一条件で統制比較する点が新しい。 - 720 real-robot trials という規模で cue の個別・組合せ寄与を定量化。 - 要旨からは不明: 具体的な先行研究名やベースライン手法との直接比較の詳細。

- LeRobot platform + 独自 visuo-tactile perception system で実ロボット実験を統制。 - 同一 tactile stream から 3 種の cue を生成: tactile RGB images(contact appearance)、normal/depth maps(geometry)、marker-flow fields(tangential deformation)。 - 同一 task demonstrations と同一 policy backbone を固定し、cue の個別・結合寄与を比較。 - tactile encoder の種類と visuo-tactile fusion strategy(cross-attention を含む)を比較。 - cue-factorized encoding( cue ごとに異なる処理)の効果も検証。

- 720 real-robot trials を実施し、success rate で評価。 - 主な結果: (1) tactile perception で overall success rate が 57.8% から 78.9% へ向上(寄与は task stage で異なる)、(2) marker flow が単一 cue で最も有効(74.4%)、特に established contact の調整で重要、(3) cue-factorized encoding が一貫して性能向上、(4) tactile fusion の有効性は task-dependent だが cross-attention は pretrained tactile encoder に匹敵する軽量解。

- tactile の寄与は task stage ごとに異なり、一律の効果ではない点が示唆される。 - 異なる物理 cue には tailored processing が必要で、画像として一括処理する限界を示す。 - tactile fusion の有効性は task-dependent であり、cross-attention は軽量だが万能ではない。 - 要旨からは不明: 失敗事例の詳細分析、cue 間の相互作用の機序、他タスク・他ハードへの一般化可能性。

- LeRobot platform 関連の imitation learning 研究。 - visuo-tactile policy の代表的手法(要旨では個別名の参照なし)。 - tactile encoder の pretraining 手法(pretrained tactile encoder との比較があるため)。 - cross-attention を用いた visuo-tactile fusion の関連研究。 - marker-flow / optical flow ベースの tactile representation 研究。