日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

sim2realarXiv:2611.16346

動画から二足歩行ロボットの制御へ:MotionSkill

MotionSkill: From Bipedal Motion Video to Control across Embodiments

シェア:XThreadsFacebookLINEはてブBluesky

単眼動画から歩行のタイミング付き参照動作を抽出し、体格の異なる10種類の二足ロボットに合わせて適応させ、各ロボットの残差ポリシーを学習することで歩行制御を実現した。

詳しい要約

1. どんなもの?

- 単眼動画から二足歩行のtimed referenceを一度復元し、シミュレーション上で各target robotに適応させる枠組み - 歩容のタイミングを動画から取り出し、各ロボットの肢・actuatorで実行可能な制御に変換 - 10体のbipedそれぞれに個別のresidual policyを学習させる - 4秒の歩行clipを共通の入力として利用

2. 先行研究と比べてどこがすごい?

- 同じmotionを各bipedごとに指定する手間を、実演gaitの再利用で軽減する点 - 単眼videoから得たtimed referenceを共通frameで扱い、複数embodimentへ適応 - 各瞬間に利用可能なlandmarkを記録し、occlusion等の欠損を考慮する点 - 先行研究との具体的比較は要旨からは不明

3. 技術・手法の肝は?

- monocular videoからtimed referenceを一度復元 - root motionとbody landmarksを共通frameでalignし、各時刻の利用可能landmarkを記録 - source timestampごとにlimb directionsを保持し、targetのsegment lengthsを用いる - joint limitsとclosure constraintsの下でinverse kinematicsを解く - MuJoCoでbipedごとにresidual policyを学習し、接触時にmeasured robot stateでjoint commandsを補正

4. どうやって有効だと検証した?

- MuJoCo上で10体のbipedに対し、1本の4秒walking clipからmapped referenceを用いて個別policyを学習 - 学習時にheld outしたinitial statesから評価 - 元video条件で98%のtrialを完了 - upper bodyを1秒間occludeした条件で26%のtrialを完了

5. 議論はある?

- upper body occlusion時に成功率が98%から26%へ低下し、landmark欠損への感度が示唆される - 各bipedごとにseparate residual policyを学習する必要がある - 実機ではなくMuJoCo simulationでの検証に留まる - 他のocclusionパターンや実環境への一般化は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照・比較されている研究は明示されていない - 関連手法としてmonocular videoからのmotion reconstruction、inverse kinematics、residual policy learning、sim-to-real transferの定番研究を次に読むべき - 具体的な論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Philip Niu, Xiaofeng Han, Sylvie Pan, Yang Wang

分類: cs.RO

原文アブストラクト

Reusing a demonstrated gait can reduce the work of specifying the same motion for each biped. A video captures the timing of a step, but each robot must execute it with its own limbs and actuators. MotionSkill recovers a timed reference once from monocular video and adapts it to each target in simulation. It aligns root motion and body landmarks in a common frame and records which landmarks are available at each instant. At each source timestamp, the mapper preserves limb directions, uses the target segment lengths, and solves inverse kinematics under joint limits and closure constraints. In MuJoCo, we train a separate residual policy for each of ten bipeds on its mapped reference from one four-second walking clip. Each policy uses the measured robot state to correct joint commands during contact. From initial states held out during training, MotionSkill completed 98% of trials on the original video and 26% with the upper body occluded for one second.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2Hugging Face、ロボット学習基盤「LeRobot v0.7.0」を公開 対話操作と大規模データ学習に対応新製品・発表
  3. 3UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
PR本紙発行元 EmplifAI