テキストtoモーション2026/9/22arXiv:2609.26420

サンプル・シミュレート・セレクト：学習なしで実現するヒューマノイドの物理シミュレーション・イン・ザ・ループ型テキストtoモーション

Sample, Simulate, Select: Physics-in-the-Loop Text-to-Motion for Humanoids Without Training

学習済みテキストtoモーション生成モデルから複数候補を生成し、物理シミュレータ上で追従制御ポリシーにより実行して最良のものを選ぶことで、追加学習なしにヒューマノイドの動作生成精度を向上させる手法を提案。

詳しい要約

1. どんなもの？

- 訓練なしで text-to-motion モデルの出力を humanoid ロボット Unitree G1 で実行可能にする手法 S$^3$ (Sample-simulate-select) を提案する研究。 - 凍結した text-to-motion モデルから prompt ごとに N 個の motion をサンプルし、retargeting と物理シミュレーションで検証して最良の候補を選ぶ。 - 学習を一切行わず、deployment controller 自体を loop に入れることで language-to-humanoid の gap をどこまで埋められるかを測定する。

2. 先行研究と比べてどこがすごい？

- 従来の text-to-motion モデルは人間の motion を生成するがロボットの dynamics を考慮しない。 - whole-body tracking controller は与えられた参照を忠実に実行するが、実行不能な参照を replan できない。 - 近年の language-to-humanoid システムは training でこの gap を埋めようとするが、本研究は training なしでどこまで到達できるかを定量化する点が新しい。

3. 技術・手法の肝は？

- 凍結した text-to-motion モデルから prompt ごとに N 個の motion をサンプルする。 - 各 motion を direction-matching inverse kinematics で Unitree G1 に retarget する。 - 事前学習済み SONIC tracking policy を用いて full rigid-body dynamics 下で全候補を rollout する。 - 決定論的シミュレータ自体を verifier として、policy が最もよく実行できた候補を選択する。 - 構成上 any-of-N ceiling を達成するため、その ceiling の位置と不足要因を測定する。

4. どうやって有効だと検証した？

- HumanML3D test prompts の層化 200 prompt、N=8 で upright execution が 83.5% から 89.5% に、hardware-gate passes が 33 から 85 に向上。 - 完全な test split (4,184 prompts) では 80.5% から 89.5% に向上。 - 転倒予測性能の高い kinematic verifier (AUROC 0.90) でも利得の 1/4 しか回収できず、候補ランキングが母集団分類より難しいことを示す。 - 実行 motion の意味的忠実性を標準 text-motion evaluator で評価し、real-mocap control で損失を robot projection に帰属。 - retargeter を GMR と比較し、相補的な失敗 (any-of-8 ceiling が両者で 95.0% に上昇) を確認。 - gate-selected 177 clip を実機 G1 で実行し、全 clip が standing を完了、hardware tra…

5. 議論はある？

- 選択では修正できないクラスとして、pelvis を下げる prompt が存在し、retargeted robot data で訓練した generator はそれを実行できる。 - kinematic verifier は転倒予測に優れるが、prompt 自身の候補ランキングには限界がある。 - retargeter の違い (direction-matching IK vs GMR) は相補的な失敗を生み、any-of-8 ceiling を両者で 95.0% に押し上げる。 - 実機 G1 での tracking error が simulation と高い相関を示すことは、simulation ベース検証の妥当性を支持する。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究: SONIC tracking policy、GMR (retargeter)、HumanML3D dataset、標準 text-motion evaluator。 - 関連手法: whole-body tracking controller、language-to-humanoid systems、direction-matching inverse kinematics。 - 同分野の定番: text-to-motion モデル (例: MDM, MLD)、humanoid locomotion の sim-to-real 転移研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Raphael Memmesheimer, Sven Behnke

分類: cs.RO, cs.CV

原文アブストラクト

Text-to-motion models generate plausible human motion but do not model a robot's dynamics; whole-body tracking controllers execute robot references reliably but cannot replan an infeasible one. Recent language-to-humanoid systems bridge this gap by training. We measure how much of the gap closes with no training at all, by putting the deployment controller itself in the loop. Sample-simulate-select (S$^3$) draws $N$ motions per prompt from a frozen text-to-motion model, retargets each to a Unitree G1 by direction-matching inverse kinematics, rolls all of them out under full rigid-body dynamics with the pretrained SONIC tracking policy, and keeps the candidate the policy executed best. Because the verifier is the deterministic simulator itself, S$^3$ attains the any-of-$N$ ceiling by construction; what we measure is where that ceiling lies and what falls short of it. On 200 stratified HumanML3D test prompts with $N=8$, upright execution rises from 83.5% to 89.5% and hardware-gate passes from 33 to 85; on the complete test split (4,184 prompts) it rises from 80.5% to 89.5%. A kinematic verifier that predicts falls well (AUROC 0.90) recovers only a quarter of this gain: ranking a prompt's own candidates is harder than classifying the population. What selection cannot fix is one class, prompts that lower the pelvis, which a generator trained on retargeted robot data does execute. We further score the semantic fidelity of the executed motion with the standard text-motion evaluator, with a real-mocap control that attributes the loss to the robot projection, ablate the retargeter against GMR (complementary failures: the any-of-8 ceiling rises to 95.0% over both), and execute all 177 gate-selected clips on the real G1: every one completes standing, with hardware tracking error matching simulation ($r=0.94$).

arXivで原文を読む →arXiv概要ページ

← 論文一覧