UMI-Live、両腕ロボット向けの実環境データ収集システムを公開

何が起きたか

UMI-Liveに関する論文が2026年10月29日、arXivで公開された。論文は、実環境で両腕ロボットの学習用データを集めるオープンソースのシステムを提示し、3つのタスクにわたる40時間分のデータを公開した。両腕のピック・アンド・プレース課題では、π₀.₅の成功率が10/10、MolmoAct2が8/10だった。

詳細

専用ハードウェアにはカメラ、LiDAR・慣性計測、オンボード計算機、電源を統合した。収集環境に外部トラッキング機器を設置せず、同環境内でのキャリブレーションも不要とする設計だ。ユーザーインターフェースで記録を開始すると、非同期処理系がSLAM再構成を並列実行し、学習用データセットを生成する。 ソフトウェアはdual-YAMによるテレオペレーションと、VLAポリシーの学習・推論をサポートする。論文は、システムのハードウェア設計、ソフトウェア、再現ガイドも公開した。

Key Facts

本紙の見方

このシステムの技術的な焦点は、ロボットの操作機器だけでなく、実演の記録から学習用データの生成までを一つの構成にまとめた点にある。論文が説明する従来のUMIデータ利用では、ハードウェア構成の統一、キャリブレーション、データ処理が必要だった。UMI-Liveはセンサーと計算機を備えた機器、記録用の操作画面、並列SLAM処理をつなぎ、収集とデータ準備の間にある工程をシステム内に取り込む。したがって、意義は単に実環境で実演できることではなく、収集後の処理を含むデータ生成経路を公開したことにあるとみられる。 また、物理ロボットを直接テレオペレーションせず、人の実演を学習データにする方式と、dual-YAMによるテレオペレーションを支えるソフトウェアの両方を用意している。前者は実環境でのデータ取得、後者はロボットの遠隔操作に関わる機能であり、論文は同一システムが支援する範囲を両方に広げている。ただし、これらの機能がどのような機器構成や作業条件で相互運用できるかは、提示された概要だけでは分からない。 データ公開とモデル評価の関係にも留意が要る。40時間分のデータは3タスクにまたがる一方、示された成功率は両腕のピック・アンド・プレース課題について、π₀.₅が10/10、MolmoAct2が8/10という結果である。この数値は対象課題での評価を示すが、他のタスクや環境で同じ性能が得られることまでは示さない。評価条件やデータのタスク別内訳、環境の違いによる性能も確認点となる。 ハードウェア設計、ソフトウェア、再現ガイドを公開する形は、別の研究者が構成を再現し、データ収集からモデル学習までを検証するための足場になりうる。一方、再現性は設計資料の公開だけで決まらず、センサー構成や処理条件が異なる環境で同様のデータ品質を得られるかに左右される。論文概要には、機器の費用、データの詳細な内訳、評価方法の条件、収集環境の多様性は記されていない。次の検証では、収集環境を変えた場合の再現性と、公開データで学習した方策が評価対象外の作業にも適用できるかを分けて見る必要がある。

なぜ重要か

論文の評価は、両腕のピック・アンド・プレース課題でπ₀.₅が10/10、MolmoAct2が8/10という範囲に限られるが、データ収集システムと学習用データを合わせて公開した点は、研究者が実演収集からモデル評価までを検証する際の具体的な基盤となる。外部トラッキング機器なしで収集環境内のキャリブレーションを不要とする設計が、異なる環境でも再現できるかが適用範囲を左右する。