日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

全身制御/模倣arXiv:2611.19998

単眼動画からヒューマノイド全身をリアルタイム制御するMoViC

MoViC: Real-Time Humanoid Whole-Body Control from Monocular Video Streams

シェア:XThreadsFacebookLINEはてブBluesky

ウェアラブル機器なしで、ライブ単眼RGB映像を入力にヒューマノイドロボットの全身動作をリアルタイム模倣するフレームワークを提案。周波数領域表現と外挿手法で低頻度の視覚推定と高頻度制御を橋渡しし、動的な動作追従や遠隔操作を実機で実証した。

詳しい要約

1. どんなもの?

- 単眼RGB動画からヒューマノイドロボットの全身動作をリアルタイムに模倣するフレームワーク「MoViC」 - ウェアラブルなトラッキングデバイスを必要とせず、ライブRGB映像を制御信号として用いる - 単眼の人間動作再構成、ロボットへのリターゲティング、transformerベースのbehavior foundation modelを組み合わせる - 二本腕および片腕のマニピュレーションタスクのデバイスフリーなテレオペレーションも実現

2. 先行研究と比べてどこがすごい?

- ウェアラブルトラッキングデバイスを不要にし、ライブ単眼RGB入力のみで全身模倣を実現 - 将来の参照フレームを明示的に積み重ねず、周波数領域のコンパクトな動作表現で時間的文脈を供給 - これにより入力次元とネットワークサイズを削減 - 10Hzの視覚推定と50Hzのコントローラを橋渡しする外挿法により、非同期な視覚処理とポリシー実行を可能に - 具体的な先行研究との比較数値は要旨からは不明

3. 技術・手法の肝は?

- 単眼human motion reconstructionとrobot retargetingを組み合わせたパイプライン - transformerベースのbehavior foundation modelをポリシーとして採用 - ポリシー入力は固有受容感覚の履歴、単一の明示的な次ステップ参照、周波数領域の動作表現 - 周波数領域表現が将来参照フレームのスタッキングなしに時間的文脈を提供し、入力次元とネットワークサイズを削減 - 展開時は外挿法で10Hzの視覚推定を50Hzの制御に橋渡しし、非同期処理を実現

4. どうやって有効だと検証した?

- ハードウェア実験を実施 - 高度に動的な動作トラッキングを実証 - ライブ単眼RGB入力からの二本腕および片腕マニピュレーションタスクのデバイスフリーなテレオペレーションを実証 - 定量的な評価指標や比較実験の詳細は要旨からは不明

5. 議論はある?

- 要旨からは不明 - 単眼再構成の精度限界や外挿法の遅延・誤差への影響、周波数表現の一般性などは本文での議論が想定されるが、要旨には記載なし

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明示されていない - 関連手法としてmonocular human motion reconstruction、motion retargeting、behavior foundation model、transformer-based policy、frequency-domain motion representationに関する論文 - 同分野の定番としてhumanoid whole-body controlやlearning-based motion imitationの代表的文献を次に読むべき

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yimin Han, Jiahui Zhang, Wanyue Li, Zeren Luo, Yeke Chen, Liu Zhao, Peizhuo Li, Xiaoyu Ji, Shihao Dong, Xuechao Chen, Zhangguo Yu, Annan Tang, Peng Lu

分類: cs.RO

原文アブストラクト

Real-time whole-body imitation from monocular video requires both a robust universal tracker and high-quality real-time reconstruction. We present MoViC, a framework that uses live RGB video as a control signal for humanoid robots without wearable tracking devices. The framework combines monocular human motion reconstruction, robot retargeting, and a transformer-based behavior foundation model. The policy receives proprioceptive history, a single explicit next-step reference, and a compact frequency-domain motion representation that supplies temporal context without explicitly stacking future reference frames, which reduces the input dimension and network size. During deployment, our extrapolation method bridges the 10-Hz visual estimation with 50-Hz controller, enabling asynchronous visual processing and policy execution. Hardware experiments further demonstrate highly dynamic motion tracking and device-free teleoperation of bimanual and single-arm manipulation tasks from live monocular RGB input. Project page: https://movicproject.github.io/ .

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2Google DeepMind、ロボット向けAIを発表新製品・発表
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  5. 5SoftBank主導、Agile Robotsが5億ドル調達 NVIDIAと日立も参加資金調達

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI