触覚でつなぐ人間からロボットへの巧みな操作の転送

- 人間の接触リッチなデモをロボットの器用な操作データへ変換するハードウェア・ソフトウェア共設計フレームワーク TouchBridge の提案。 - 装着型の人間デモインタフェースと対応するロボットインタフェースで、視覚と指先触覚の cross-embodiment 対応を確立。 - 触覚条件付きリターゲティング手法 Tac-Retarget を導入し、接触パッチの位置合わせと空間関係の保持を行う。 - 変換データで事前学習済み VLA モデルを fine-tuning し、実世界の接触リッチ4タスクで評価。

- 物体メッシュ・物体姿勢推定・物理シミュレーションを必要とせず、人間デモを直接ロボット領域の学習データへ変換できる点が、object-aware や simulation-based の転送パイプラインと異なる。 - 同一ポリシー・学習設定の下で、Tac-Retarget は DexPilot を25.0ポイント、UniDex を42.5ポイント上回る。 - 人間デモ収集はテレオペレーションのロボットデモ収集より7.0倍高速。 - 変換した人間デモのみで fine-tuning したポリシーが72.5%の平均成功率を達成し、同数のテレオペレーションデモによる77.5%に迫る。

- 装着型の人間デモインタフェースとロボットインタフェースを共設計し、視覚・指先触覚の cross-embodiment 対応を構築。 - Tac-Retarget は計測した接触を用いて指先の接触パッチを位置合わせし、手内・手間の空間関係を保持する触覚条件付きリターゲティング。 - リターゲティングに物体メッシュ・物体姿勢推定・物理シミュレーションを不要とし、直接かつスケーラブルな変換を実現。 - 視覚合成と camera-anchored action conversion を組み合わせ、ロボット領域のデモを生成して VLA モデルの fine-tuning に使用。

- 実世界の接触リッチ4タスクで検証。 - TouchBridge 変換の人間デモのみで fine-tuning したポリシーが平均成功率72.5%、同数のテレオペレーションデモでは77.5%。 - 人間デモ収集はテレオペレーションより7.0倍高速。 - 同一ポリシー・学習設定で Tac-Retarget が DexPilot を25.0ポイント、UniDex を42.5ポイント上回る比較を実施。

- 変換データによる成功率72.5%はテレオペレーションの77.5%にやや劣るが、収集速度7.0倍の利点とのトレードオフが示唆される。 - 物体メッシュ・姿勢推定・物理シミュレーション不要という設計の汎用性・限界についての詳細は要旨からは不明。 - 触覚条件付きリターゲティングが接触パッチの空間関係保持に有効であることが比較結果から示されるが、失敗要因の分析は要旨からは不明。

- DexPilot（比較対象のリターゲティング手法）。 - UniDex（比較対象の手法）。 - 事前学習済み vision-language-action (VLA) モデルに関する研究。 - object-aware / simulation-based の human-to-robot transfer パイプライン。