UMIデバイス・カタログ (日本語版)
UMI(Universal Manipulation Interface)式のハンドヘルド/装着型データ収集デバイスと、 操作・触覚データのデータセットの一覧です。ロボット基盤モデルの学習データ収集を俯瞰できます。
選ぶ前に、記録する観測・行動、実機への適用条件、収集コストを整理するにはロボット学習データの集め方をご覧ください。研究の原著はUMIプロジェクトで確認できます。
ハンドヘルド・グリッパ (31)

UMI
Universal Manipulation Interface相対軌跡の行動表現、推論時のレイテンシ整合

Fast-UMI
Fast-UMI: A Scalable and Hardware-Independent Universal Manipulation InterfaceSLAMキャリブレーション不要、ハードウェア設計の分離

MV-UMI
MV-UMI: A Scalable Multi-View Interface for Cross-Embodiment Learning三人称視点がOODギャップを低減、シーン理解タスクで約47%向上

Cloud-UMI / UMIGen
UMIGen: A Unified Framework for Egocentric Point Cloud Generation and Cross-Embodiment Robotic Imitation LearningRGBと点群を同時記録、Visual SLAM不使用、可視性を考慮した最適化

UMI-3D
UMI-3D: Extending Universal Manipulation Interface from Vision-Limited to 3D Spatial PerceptionUMIの低コストと可搬性を維持しつつ、3D空間知覚を追加

LEGATO
LEGATO: Cross-Embodiment Imitation Using a Grasping Toolクロスエンボディメントの形態対応、同一ツールをロボット側に取り付け可能

ViTaMIn
ViTaMIn: Learning Contact-Rich Tasks Through Robot-Free Visuo-Tactile Manipulation Interfaceテレオペ用ロボット不要、視触覚統合
ViTaMIn-B
ViTaMIn-B: A Reliable and Efficient Visuo-Tactile Bimanual Manipulation InterfaceSLAMドリフトを排除、Quest 3で双腕6DoFを統合

Touch in the Wild
Touch in the Wild: Learning Fine-Grained Manipulation with a Portable Visuo-Tactile Gripper屋内・屋外の実環境での視触覚同期、マスク再構成エンコーダによる共同表現学習

TacUMI
TacUMI: A Multi-Modal Universal Manipulation Interface for Contact-Rich Tasks
exUMI
exUMI: Extensible Robot Teaching System with Action-aware Task-agnostic Tactile Representation
TAMEn
TAMEn: Tactile-Aware Manipulation Engine for Closed-Loop Data Collection in Contact-Rich Tasks
ForceMimic / ForceCapture
ForceMimic: Force-Centric Imitation Learning with Force-Motion Capture System for Contact-Rich Manipulation
Dobb-E / RUM

DAS Gripper
GenRobot DAS GripperUMIに着想を得たハンドヘルド型マルチモーダル採集器(視覚・触覚・音声・IMU・磁気エンコーダ)。MCAP出力。クラウドで元サイズの約2%まで圧縮。

DAS Fingers
GenRobot DAS Fingers生体模倣の二指ハンドヘルド採集器。最大開口220 mm、ミリ級の軌跡、音声による自動アノテーション。

Pika Sense
AgileX Robotics Pika Sense (handheld data collector; Pika / Pika Pro suite)商用UMI型のハンドヘルド採集器。現場にロボットが無くても人手による実演が可能。Pika Stationと組み合わせてミリ級の姿勢推定を実現し、同型のPikaグリッパーをPiPER等のアームでの配備に利用。

YUBI
YUBI: Yielding Universal Bidigital Interfaceオープンソースの二指器用スタック。グローブ+DYNAMIXELグリッパー+据置/携帯型の採集装置。

DM-DataClaw
DM-DataClaw Data Collection Gripper視覚ベース触覚センサ(11万センシング素子、120 Hz)を備えたハンドヘルド平行グリッパー型データ採集器。DM-DataDexと併用してDaimon-Infinity全モダリティデータセットを構築。

OmniUMI
OmniUMI: Towards Physically Grounded Robot Learning via Human-Aligned Multimodal Interactionハンドヘルド型マルチモーダルUMIで、RGB、深度、軌跡、マーカー式触覚画像、内部把持力、外部 wrench、両側グリッパーフィードバックを取得。

ActiveUMI
ActiveUMI: Robotic Manipulation with Active Perception from Robot-Free Human DemonstrationsMeta Quest 3sコントローラーにロボットグリッパーを取り付けた携帯型VRテレオペレーションキット。オペレーターの頭部動作を記録し、両手での実環境データ収集中に能動的自我中心知覚を実現。

HoMMI
HoMMI: Learning Whole-Body Mobile Manipulation from Human DemonstrationsUMIグリッパーに自我中心センシングを追加し、全身移動操作に対応。身体非依存の3D視覚表現を用いたクロスエンボディメントの手と目のポリシーを実現。

ManiWAV
ManiWAV: Learning Robot Manipulation from In-the-Wild Audio-Visual Data圧電式接触マイク(「耳付きハンド」)を内蔵したUMIパラレルジョーグリッパーで、実環境での同期オーディオビジュアルデモンストレーション収集を実現。

XRZero-G0
XRZero-G0: Pushing the Frontier of Dexterous Robotic Manipulation with Interfaces, Quality and RatiosウェアラブルVRリグ(PICO 4 + 異種H/Gグリッパー + バックパックコンピューティング)で、収集・検査・訓練・評価のクローズドループパイプラインを構築。実証実験では、ロボットフリーと実ロボットのデータを10:1で混合することで、取得コスト約1/20で同等のポリシー性能を達成。

UMI-FT
In-the-Wild Compliant Manipulation with UMI-FTハンドヘルド型UMIスタイルのパラレルジョーグリッパーの各指にコインサイズの容量式CoinFTセンサーを取り付け、指ごとの6軸力・トルクセンシングを追加。iPhoneがRGB、超広角RGB、深度、ARKitポーズを提供。マルチモーダルでロボットフリーのデモンストレーションにより、位置目標、把持力、コンプライアンス制御用の剛性を予測する適応コンプライアンスポリシーを訓練。

RoboPocket
RoboPocket: Improve Robot Policies Instantly with Your Phone消費者向けスマートフォン上でのAR視覚予測によるロボットフリーの即時ポリシー反復。150ms未満の遅延でリモートGPU推論を実行し、物理ロボットを展開せずにクローズドループのオンラインファインチューニングを実現。

Koala
Koala Platform (Co-Designed Handheld and Actuated Multi-Finger Gripper)共同設計されたハンドヘルド型と電動駆動型のバリアントが、リンク機構、指形状、センサースイートを共有。回転式モノリシック二重親指と2本の劣駆動リンク指(3自由度+2劣駆動)により、パワーグラスプ、ピンチグラスプ、ケージンググラスプを実現し、力介在のツール使用を可能にする。

TRumi
TRumi (Trossen Robotics Universal Manipulation Interface) — handheld manipulation data collection system強化された市販UMI:3Dプリントのギアトリガーを、デュアルリニアレール上のゼロバックラッシュカム駆動と定力ばね(0.4ポンド引き)に置き換え、マウントにステッカーではなく多色の指識別子を埋め込み、GoPro Ultra Wide Lens Modで視野角を177°に拡大

Mantis UMI
Almond Mantis UMI — handheld data collection gripper pairベンダーのAxol双腕ロボットと同一のグリッパ形状を共有するハンドヘルドペアで、直接的なポリシー転送を実現;姿勢追跡は固定方式ではなく設定可能なオプション(Vive Lighthouse、Vive Ultimateインサイドアウト、Quest 3コントローラ、またはカメラのみのビジュアルSLAM)であり、記録はMITライセンスのAxol SDKを通じてLeRobotデータセットに出力される
SROI
Strawberry Robotic Operation Interfaceイチゴ農業向けの器用な操作データを収集するオープンソースのハンドヘルド装置。
HuMI
Humanoid Manipulation Interfaceハンドヘルドのセンサ付きグリッパと基地局不要の装着型姿勢トラッカーで、ロボット無しにヒューマノイド全身操作を教示。装置一式がバックパックに収まる。
装着型ハンド (19)

FreeTacMan
FreeTacMan: Robot-free Visuo-Tactile Data Collection System for Contact-rich Manipulation
DexCap (Stanford)
DexCap: Scalable and Portable Mocap Data Collection System for Dexterous Manipulation
DexUMI
DexUMI: Using Human Hand as the Universal Manipulation Interface for Dexterous Manipulation
RealDexUMI
RealDexUMI: A Wearable Universal Manipulation Interface for Dexterous Robot Learning採集と実機で共有する器用な末端エフェクタモジュール。手部の視覚と指先触覚を備え、観測・接触・手の動作を一致させることで、採集から配備までシームレスなデータ転送を実現。

DEXOP
DEXOP: A Device for Robotic Transfer of Dexterous Human Manipulation
DexWild
DexWild: Dexterous Human Interactions for In-the-Wild Robot Policies
DAS Dex
GenRobot DAS Dex23自由度の装着型器用ハンド採集器。サブミリ級の指先軌跡、3D触覚精度0.05 N / 1 mm、200 Hz出力。

DM-DataDex
DM-DataDex Dexterous Hand Data Collection Device視覚ベース触覚センサ(11万センシング素子、120 Hz)を備えた五指グローブ型の器用データ採集デバイス。DM-DataClawと併用してDaimon-Infinity全モダリティデータセットを構築。

Skill Capture Glove
Sunday Robotics Skill Capture GloveUMIに着想を得たウェアラブルデバイスで、Memoロボットの3フィンガーグリッパーと共同設計(形状とセンサー配置を共有)。広視野角カメラハットを搭載し、Memory Developersによるクラウドソース型の家庭内データ収集を実施。Skill Transformパイプラインにより、グローブからロボットへの変換率は約90%。

DexViTac
DexViTac: Collecting Human Visuo-Tactile-Kinematic Demonstrations for Contact-Rich Dexterous ManipulationManusモーションキャプチャグローブ、HIT LongLin-96指先センサー、GoPro、T265を用いた携帯型の視覚・触覚・運動学データ収集システム。運動学に基づく触覚表現学習を実現。

DexEXO
DexEXO: A Wearability-First Dexterous Exoskeleton for Operator-Agnostic Demonstration and Learningウェアラブル優先のリンク式外骨格で、受動的データ収集用ハンドを備え、ハードウェアレベルでの視覚・運動学的整合を実現。手の長さ140〜217mmに対応し、ユーザーごとのキャリブレーション不要。

DEX-Mouse
DEX-Mouse: A Low-cost Portable and Universal Interface with Force Feedback for Data Collection of Dexterous Robotic Handsキャリブレーション不要の6自由度ハンドヘルドインターフェースで、運動感覚フィードバックを搭載(部品コスト150米ドル未満)。前腕装着型のロボットハンド構成により、形態的リターゲティングなしでロボット整合データを取得。

PXCap III
PXCap III Tri-Finger Data Collection GlovePXDex IIIロボットハンドとの1:1の収集・実行同型性を実現。6Dホールアレイセンサーによる完全な触覚知覚(指先、指腹、手のひら)を備え、高精度関節捕捉用の自社開発の耐磁エンコーダーを搭載。

ART-Glove
ART-Glove: Articulated Tactile Glove for Contact-Grounded Dexterous Interaction Capture22の解剖学的に整合した関節を持つ16の剛性機能面により、手側の接触形状を明示化。22自由度エンコーダー関節運動と2048タクセルの圧抵抗式触覚センシングを120Hzで同期。

HandUMI
HandUMI: Hand-Worn Open-Source Variant of the Universal Manipulation Interface収集インターフェースを作業者の手に移す:親指と人差し指・中指に装着し、自然なピンチ動作で開閉、サーボエンコーダでグリッパ幅を直接計測、着脱式3Dプリントチップを交換して1つのウェアラブルを異なるパラレルジョー型ロボットグリッパに適合させる

Grabette
GRABETTE — open-source robotic manipulation data recording toolkitRaspberry Pi上でのロボット非依存型ウェアラブル手部キャプチャ:同期フィッシュアイRGB + OAK-D深度/IMU、指関節エンコーダ、オンデバイスセッションUI、SLAMを実行してからLeRobotデータセットをポリシー学習用にエクスポートする後処理パイプライン

HiFi-UMI
HiFi-UMI: Learning Deployable Manipulation Policies from High-Fidelity UMI Data Alone頭部装着型オフラインステレオ慣性SLAMと手ごとのマーカーキューブにより、3mmのエンドエフェクタ精度とネイティブ計測のグリッパ間相対姿勢を実現;共有GPIOトリガーで6台のカメラ、IMU、エンコーダを40µs未満で同期し、全手のひらグローブがトリガーグリッパを置き換える
ExoStart
ExoStart (Sensorized Exoskeleton Demonstrations)ロボットハンドと運動学的に等価なセンサ付き外骨格で、低コストかつスケーラブルに実世界の実演を収集。
OOL Glove
OOL Glove (LaST-HD)装着して素手の動作を直接記録するグローブ。標準的なロボット遠隔操作の4〜5倍速でデータ収集できる。
装着型アーム (5)

DexCap (DexRobot)
DexCap by DexRobot (commercial product)
AirExo
AirExo: Low-Cost Exoskeletons for Learning Whole-Arm Manipulation in the Wild
AirExo-2
AirExo-2: Scaling up Generalizable Robotic Imitation Learning with Low-Cost Exoskeletons視覚アダプタ、擬似ロボット実演への変換、RISE-2ポリシー統合。

Exo-ViHa
Exo-ViHa: A Cross-Platform Exoskeleton System with Visual and Haptic Feedback for Efficient Dexterous Skill Learning3Dプリント製の前腕外骨格で、交換可能な器用なハンドを備える。T265ポーズ、手首カメラ、モーションキャプチャグローブを搭載し、外骨格接触による受動的触覚フィードバックを提供。
NuExo
NuExo Upper-Limb Exoskeleton上肢の全可動域をカバーする装着型外骨格。屋外でのデータ収集とヒューマノイドの遠隔操作に対応。
主要データセット
| 名称 | 提供 | 種別 | 軌跡数 | タスク |
|---|---|---|---|---|
| Open X-Embodiment (OXE) | Google DeepMind + 34 labs | real / multi-embodiment | 1M+ | 527 |
| DROID | Stanford + 13 institutions | real / manipulation | 76K | — |
| RoboMIND | Beijing Humanoid Center + PKU | real / multi-embodiment | 107K | 479 |
| AgiBot World Colosseo | AgiBot | real / manipulation | 1M+ | 217 |
| FastUMI-100K | Shanghai AI Lab | real / manipulation | 100K+ | 54 |
| DexWild Dataset | CMU | real / dexterous | — | — |
| Gen-EgoData | GenRobot | real / egocentric | — | 500 |
| 10Kh-RealOmin-OpenData | GenRobot | real / manipulation | — | — |
| Genie Sim Synthetic | AgiBot | simulation | — | 200 |
| DAIMON Public Tactile | DAIMON Robotics | real / tactile | — | 2000 |
| HiFi-UMI-2K | Simple AI (Simple World Lab) | real / robot-free manipulation | — | — |
データ: Awesome UMI(CC BY 4.0、日本語訳・翻案)