日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
遠隔操作arXiv:2610.29903

コンパクト参照追従による低遅延全身ヒューマノイド遠隔操作

HuMiT: Low-Latency Whole-Body Humanoid Teleoperation via Compact Reference Tracking

シェア:XThreadsFacebookLINEはてブBluesky

ルート高さ・速度と4つの疎なキーポイント姿勢のみを参照する統一追従ポリシーで、約20msの低遅延な全身ヒューマノイド遠隔操作を実現し、ボールキャッチなどの反応動作を実機で示した。

詳しい要約

1. どんなもの?

- HuMiTは、ヒューマノイドの全身テレオペレーションシステム。 - 単一のunified tracking policyで駆動。 - 参照目標はroot height、root velocity、4つのsparse keypointsのSE(3) poses(現フレームのみ)というcompactな構成。 - Unitree G1上で動作し、ボールキャッチのような即応動作やloco-manipulationを実演。

2. 先行研究と比べてどこがすごい?

- 既存のmotion tracking policiesはfull joint positions、dense body-part transformations、future framesなど密な参照を要求し、上流モジュールと強く結合していた。 - HuMiTはcompactな参照のみで、それら多様な参照状態を用いる手法に匹敵するtracking fidelityを達成。 - optimization-based retargetingやfuture-frame conditioning由来の計算遅延を回避する点が利点。

3. 技術・手法の肝は?

- 統一されたtracking policyがcompact reference targetのみを入力とする設計。 - 参照はroot height、root velocity、4つのsparse keypointsのSE(3) poses(現フレーム)に限定。 - これにより上流の高コストretargetingモジュールへの依存を低減し、低遅延化を狙う。 - 詳細なネットワーク構成や学習手順は要旨からは不明。

4. どうやって有効だと検証した?

- Unitree G1 humanoid上でシステムを検証。 - headset streamingからpolicy出力までのcommunication-to-inference latencyが約20 ms。 - video-based optical flow latencyは異なるmotion typesで中央値65 ms。 - 投げられたボールのキャッチなどsplit-secondのreactive responseと、coordinated loco-manipulationを実演。

5. 議論はある?

- compact referenceで密な参照手法に匹敵する追従精度を主張するが、定量的な比較詳細は要旨からは不明。 - 遅延指標は計測条件やmotion typesへの依存があり、詳細な評価範囲は要旨からは不明。 - 汎化性やロバスト性、長期運用に関する議論は要旨からは不明。

6. 次に読むべき論文は?

- 比較対象として言及される密な参照(full joint positions、dense body-part transformations、future frames)を用いるmotion tracking policies。 - optimization-based retargeting pipelines。 - future-frame conditioningを用いる手法。 - 同分野の定番としてhumanoid teleoperationおよびwhole-body motion trackingの関連研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Liu Cao, Botian Xu, Ruoqu Chen, Jiajun Liu, Mingzhi Pei, Zihao Wang, Zhongyu Li, Mengdi Xu

分類: cs.RO

原文アブストラクト

Real-time whole-body humanoid teleoperation remains challenging due to the computational latency introduced by optimization-based retargeting pipelines and future-frame conditioning. Existing motion tracking policies typically require dense reference targets including full joint positions, body-part transformations, and even future frames, which tightly couples the controller to expensive upstream modules. In this work, we present HuMiT, a whole-body teleoperation system built on a unified tracking policy that requires only a compact reference target, consisting of root height, root velocity, and the SE(3) poses of four sparse keypoints at the current frame, yet achieves competitive tracking fidelity compared to methods relying on more diverse reference states including complete joint positions, dense body-part transformations, and even future frames. Experiments show that our policy achieves a communication-to-inference latency of $\sim$20 ms measured between headset streaming and policy output and a video-based optical flow latency of 65 ms (median) across different motion types. We validate the system on a Unitree G1 humanoid, showcasing split-second reactive responses such as catching a tossed ball, as well as coordinated loco-manipulation capabilities. Project page: https://xiaohu-art.github.io/Track/.

関連論文

PR本紙発行元 EmplifAI