UMRを詳しく読む — 人の動きを体表面の点群でヒューマノイドへ移す

人の動作を大量に集めても、そのままロボットの教師データにはならない。腕の長さ、関節の数、胴体の形が違えば、同じ姿勢を指定しても手が物体に届かない。UMRは、体表面の点群を共通の表現にして、人の動きを異なるヒューマノイドへ移す研究だ。見どころは動きの見た目だけでなく、手と物体、足と床の関係をどこまで保てるかにある。

UMRはUnified Motion Retargetingの略。Hanyang Cao氏ら、香港科技大学（広州）、Noitom Robotics、漢陽大学、香港科技大学、香港大学の研究者による論文が、2026年9月2日にarXivで公開された。本稿はv1の手法・実験と、9月12日に確認した公式ページ・公開コードを読み合わせた解説である。^[1]

1．リターゲティングは、何を変換するのか#

リターゲティングとは、ある身体の動作を、別の身体で実行するための動作へ写す処理だ。人の肘の角度をそのままロボットの肘へコピーするだけでは、手先の位置も接触もそろわない。関節の回転軸や可動域が異なることもある。

従来の代表的な方法では、人の腰・膝・足などとロボット側の関節やリンクを対応づける。これは理解しやすい一方、機体や入力データが変わるたびに対応表や重みを調整する負担がある。UMRは、こうした人とロボットの骨格対応を手で決める作業を減らすため、身体の外側の形から対応を学ぶ。^[1]

2．体表面の対応を学び、その対応で姿勢を求める#

処理は大きく2段階に分かれる。最初に基準姿勢で身体同士の対応を作り、次にその対応を使って時間ごとのロボット姿勢を求める。同じ入力テンプレートとロボットの組み合わせなら、最初の対応を複数の動作に再利用できる。^[1]

第1段階：点の並びに、身体をまたぐ意味を持たせる

人とロボットをそろえたTポーズから点群を取り出し、人側の各点に対応するロボット側の位置を学習する。PointNet型のエンコーダーとMLPを使い、形の一致に加えて、点が一か所へ集まりすぎないこと、近い領域が不自然にばらばらに変形しないことを損失で扱う。対応した点をそれぞれのメッシュへ結び付け、身体が動いても同じ対応を追えるようにする。^[1]

重要なのは、単に各フレームで一番近い点を探すだけではないことだ。毎回対応が入れ替われば、姿勢の変化とともに目標が飛んでしまう。基準姿勢で決めた対応を保つことで、動きの中で追う対象を安定させる。

第2段階：位置だけでなく、表面の向きも合わせる

人が動くと、人側の点は入力メッシュに従って移動する。ロボット側は、関節姿勢から順運動学で点の位置を計算する。両者の位置と表面の向きの差を小さくしながら、関節可動域や床とのクリアランスを満たす姿勢を最適化する。論文では、非線形な問題を局所的な二次計画問題に分けて解く。^[1]

本紙の理解では、この構成の利点は「どこが対応するか」と「機体の制約内でどう動くか」を分けられることにある。新しい機体で関節の並びが変わっても、体表面を合わせる目的は共通にできる。ただし、ロボットモデル、基準姿勢、関節制限などの設定は引き続き必要だ。

3．手が近くにあることと、正しく触れることは違う#

例えば箱を両手で持つ動作では、手首の位置が似ていても、掌が箱の外を向いたり、片手だけ箱から離れたりすれば作業は成立しない。膝や腰の位置だけを合わせる方法では、こうした表面同士の関係が十分に表現されないことがある。

UMRは、身体の点から物体・環境の表面点への方向ベクトルで接触関係を表す。その対応をロボットへ移すことで、物体、床、周辺の形状との関係を姿勢の最適化に加える。論文の接触項は幾何学的な関係を扱うもので、把持力や摩擦力を直接測って再現する仕組みとは異なる。^[1]

したがって、箱との位置関係が改善しても、重い箱を落とさず運べるかは別に評価する必要がある。重量、摩擦、アクチュエータの能力、制御周期を含めた実行可能性は、下流の制御学習や実機試験で確かめる課題だ。

4．実験では何が良くなり、どこで勝てなかったか#

論文は4種類の入力表現と5種類のヒューマノイドへの変換を定性的に示す。一方、数値による評価はすべてUnitree G1で行っている。複数機体の映像を示したことと、全機体で同じ改善率を実証したことは分けて読む必要がある。^[1]

全身追従：シミュレーション間の移行にも差が出る

LAFAN1の40動作を対象に、BeyondMimicによる追従を比較した。下表は論文Table IIからSim2Simの一部を抜粋したもの。各値は4,096試行に基づき、途中の終了条件に触れず参照区間を完了すれば成功とする。実機で4,096回試した成功率ではない。^[1]

この条件ではUMRはGMRを上回るが、転倒・起き上がりではUnitree参照より低い。しかもUMR自身の成功率も約35%にとどまる。平均的な改善を、難しい動作まで解決したという説明へ広げてはいけない。

物体・環境との相互作用：階段は改善、椅子は逆転

次は論文Table IVの下流方策評価で、参照動作の生成方法をUMRとOmniRetargetで変えている。物体操作にはOmniContact、周辺環境との動作にはGRAILのデータを使う。以下も実機デモの成功率を集計した表ではなく、論文が報告する下流方策の比較である。^[1]

運搬と階段では大きな改善がある一方、椅子では比較手法が上回る。押す動作の成功率は両者とも高く、成功率だけでは動作の忠実さを見分けにくい。著者らも、物体を動かせたかに加え、関節や物体の追従誤差を見る必要を指摘している。^[1]

大規模学習の「約10%改善」にも条件がある

BONES-SEEDを使うSONICの学習では、SMPLエンコーダーを使わない条件で、学習終盤の指標に約10%の相対改善を報告する。エンコーダーを使う条件では比較参照と同程度だった。また、比較側はSOMA-Uniformからの参照、UMR側は人物ごとの体形を持つSOMA-Proportionalからの参照を使う。入力表現も違うため、改善分すべてを最適化手法だけの効果とは切り分けられない。^[1]

5．65 FPSは、実機を65 Hzで制御できるという意味ではない#

論文Table Iでは、再利用できる対応の準備が平均25.79秒、動作変換本体が121.26 FPS、前処理を含む全体が65.29 FPSと報告されている。測定環境はRTX 4070 Ti SUPERとCore Ultra 7 265KFで、LAFAN1上の平均値だ。制御方策の学習には別途RTX 4090を使う。^[1]

この数字は、参照動作を作る処理能力を評価するものだ。画像から人体を復元する時間、ロボットとの通信、低レベル制御、安全判定まで含む遅延ではない。ストリーム入力を扱う場合は、平均速度だけでなく、処理が一時的に遅れたときの挙動も別に測る必要がある。

6．公開実装とStudioで、どこから試せるか#

公式GitHubには、G1向けの設定、サンプル動作、変換・一括処理・可視化の手順がある。READMEの導入例はPython 3.12を使い、SMPL-Xの人体モデルは別途取得する構成だ。モデルの配布条件を確認して配置する必要があり、リポジトリを取得するだけで必要な素材がすべてそろうわけではない。^[3]

公式サイトのUMR Studioは、MJCFと関連素材を読み込み、Tポーズを調整して変換を試すブラウザーの入口を用意している。画面の説明では、対応学習と変換はローカルCPUで行う。論文のGPU測定値を、そのままStudioの処理速度として使うことはできない。本紙では入口と公開手順を確認しており、独自機体を使う変換の再現実験までは行っていない。^[2,4]

「対応表が不要」でも、入力の準備は残る

READMEは、機体ごとのモデルパス、Tポーズ、関節制限の設定を分けている。また、物体・環境との相互作用では、凹形状を凸分解して扱う準備も案内する。人側の表面形状が欠けている、機体のメッシュや関節設定が間違っている、といった問題をUMRが自動的に直すわけではない。^[3]

検証用の導入では、まず同梱例で出力を確認し、その後に機体や動作源を一つずつ変更する進め方が分かりやすい。変更前後のデータ・設定・コードの版を残せば、対応の問題とモデル設定の問題を切り分けやすくなる。

7．実機デモと、まだ残る限界#

論文は回転蹴り、ボールを持って後退・旋回する動作、階段を越えて飛び降りる動作の実機展開を示している。ボールの例はモーションキャプチャーを用いた構成と明記される。公式サイトも、変換データを使って学習した方策のデモとして動画を公開している。自律認識から汎用作業まで一つのUMRモデルだけで処理した実演と解釈しないことが大切だ。^[1,2]

論文が明記する制約は、入力にメッシュベースの身体形状と基準テンプレートが必要なことだ。より構造化されていない観測、多指ハンドのような複雑な身体、複数主体の相互作用は今後の課題に挙げられている。したがって、単眼動画を無条件に投入できる、細かな指先操作まで実証済み、といった説明は根拠を超える。^[1]

現場への導入判断では、見栄えのよい一例に加え、失敗した変換も確認したい。手が届かない、足が滑る、関節限界に張り付く、物体に食い込むといった現象を、採用前のデータ検査でどれだけ見つけられるかが重要になる。

8．日本のロボット開発にとっての価値#

本紙がUMRに見る価値は、人の動作データを増やす研究と、ロボットの制御を良くする研究の間を埋めることにある。データ量を増やしても、変換した姿勢が実行しにくければ、下流の学習器はその不整合まで引き受ける。参照動作の質を改善することは、学習アルゴリズムを交換することと並ぶ開発対象になる。

複数のヒューマノイドを扱うチームなら、新機体ごとの対応表作成や再調整に何時間かかるかを測り、その工数が減るかを確かめたい。単一機体のチームなら、運搬や着座など、接触のずれが失敗原因となっている動作から比較するのがよい。全データを一度に変換するより、用途に近い少数の動作で既存手法との差を把握しやすい。

形態そのものを変えるBRIDGEの共同設計に対し、UMRは与えられた身体へ動作を移す側から不整合に取り組む。両者を読むと、ヒューマノイドの性能はモデルの大きさだけでなく、身体、参照データ、制御の組み合わせで決まることが見えてくる。