Unitreeの人型ロボットで動画と行動のずれを検証　BrainCo製の五指ハンドも対象に

何が起きたか

arxiv.orgは2026-10-06、Unitree G1人型ロボットとBrainCoの五指ハンドを使った論文「AutodidactWAM: Cross-Modal Self-Distillation from Generated Video to Robot Actions」を公開した。論文は、生成された未来動画とロボット行動のあいだにずれが生じることを示し、実機試験でnative actionの成功率がpre-grasp約17%、grasp約10%、pick-and-place約7%だったと報告した。提案手法AutodidactWAMは、生成動画から動作推定を復元し、それを用いて行動関連層のみを再学習する構成である。

詳細

論文は、World-action models（WAMs）の一例としてCosmos 3を挙げ、観測と指示から未来動画とロボット行動を同時生成する枠組みを前提にしている。適用先は、未見のロボットであるUnitree G1人型ロボットと五指のBrainCoハンドで、実験はpre-grasp、grasp、pick-and-placeの3段階で行われた。 AutodidactWAMは、テレオペレーションなしで学習したhand-pose estimatorを使い、逆運動学で生成動画から動作推定を復元する。復元した行動は、native predictionと組み合わせて行動関連層の微調整に使われ、生成動画側はteacher forcingされる。比較対象として、supervised relabelingとDiffusion-DPOのrectified-flow適応が検討され、論文はDPO+SFT+DTWの複合目的が最良だったとしている。

Key Facts

本紙の見方

今回の主眼は、ロボットが動画を「それらしく」作れても、そのまま行動に落とすと狙いが外れるという点を、Unitree G1とBrainCoの五指ハンドで実験的に示したことにある。重要なのは、提案手法そのものよりも、生成動画と行動の非対称性が実機で確認された点である。成功率がnative actionでpre-grasp約17%、grasp約10%、pick-and-place約7%にとどまったのに対し、復元した行動を使う枠組みでは約75%、47%、42%まで改善しており、視覚生成と制御の間に独立した補正層が要ることを示唆する。 ただし、今回の論文は商用製品の発表ではなく研究報告であり、量産や販売台数よりも、どの入力を教師信号に使うかという学習設計が中心である。ここでの差は、単なるモデル性能ではなく、動画生成・逆運動学・行動層微調整の連結方法にある。 業界構造への含意としては、ロボットの競争軸が本体やデモ映像だけではなく、実機データをどの工程でどう再利用するかに移っている点が大きい。Cosmos 3のようなWAMが映像と行動を同時生成しても、論文はそのままでは行動が誤標的になり得ると示したため、今後は生成基盤、姿勢推定、逆運動学、微調整の各層を分けて評価する必要がある。特に、追加のタスク別テレオペレーションを不要にする設計は、データ取得の負担を減らせる一方で、復元行動の品質がどこまで一般化するかが焦点になる。 未確定の論点は、まずこの手法が別のロボット形態や別タスクでも同じ改善幅を出せるかである。加えて、DPO+SFT+DTWが最良とされたが、どの構成要素がどれだけ寄与したか、またheld-out object以外の未知物体での安定性はどうかが次に確認すべき点になる。商用展開を論じるには、学習時のデータ要件、推論計算量、実機での再現性がまだ必要である。

なぜ重要か

この論文は、Unitree G1とBrainCoハンドという具体的な組み合わせで、生成動画だけでは制御に直結しないことを実機で示した点に意味がある。ロボット側の課題は見栄えのよい生成よりも、狙った把持や把持後の移動を安定して再現できる学習手順にあることが、数値で示された。

日本への影響

日本のロボット開発にとっては、機体そのものよりも、動画生成・姿勢推定・逆運動学・行動微調整をどう接続するかが競争点になり得る。とくに把持やピック&プレースのような実世界操作では、デモ映像の印象よりも、実機での成功率と学習データの取り方が重要になる。