日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ヒューマノイドarXiv:2611.24074

SemPhys: 微分可能ワールドモデルによる意味と物理の共学習で人型ロボットの動作を生成

SemPhys: Semantic-Physical Co-Learning for Humanoid Motion Generation via Differentiable World Models

シェア:XThreadsFacebookLINEはてブBluesky

シミュレーション上の実行結果から意味的フィードバックを得て動作生成器を学習する枠組みを提案し、指示と実際の全身動作の意味的一致を高めた。

詳しい要約

1. どんなもの?

- 人間の言語指示から humanoid の全身運動を生成する枠組み - 指示から kinematic reference を作り tracking controller で実行する従来型に対し、実行後の運動そのもので semantic alignment を評価する点が特徴 - differentiable world model と固定 tracking controller で実行軌跡の短区間を予測し、生成器を semantic feedback で学習 - 名称は SemPhys(Semantic-Physical Co-Learning)

2. 先行研究と比べてどこがすごい?

- 従来は kinematic reference 上で指示との整合を評価し、tracking controller の balance/contact 制約による reference からの逸脱を考慮しなかった - SemPhys は『物理的に実行される完全な運動』上で semantic alignment を直接評価する点が新しい - 予測区間を元の位置に挿入して軌跡全体を指示と照合し、予測区間を通じて backpropagate する設計 - BONES-SEED 上で reference から execution への instruction retrieval accuracy を大きく保ち、実行運動での retrieval accuracy が評価手法中最高と報告

3. 技術・手法の肝は?

- differentiable world model と固定 tracking controller で記録済み実行の短区間を予測 - 予測区間を元の軌跡位置に挿入し、完全な trajectory を指示に対してスコアリング - そのスコアから予測区間を通して backpropagate し、motion generator を更新 - paired anchoring loss で各生成 reference を初期 generator の対応出力に近づけ、適応を安定化

4. どうやって有効だと検証した?

- BONES-SEED を用いて評価 - reference から execution への instruction retrieval accuracy の保持を測定 - 実行運動(executed motions)上の retrieval accuracy を評価手法間で比較し、SemPhys が最高精度と報告 - 詳細な被験者実験や実機実験の有無は要旨からは不明

5. 議論はある?

- tracking controller を固定したまま world model 予測区間のみを通じて学習する設計の限界や一般性は要旨からは不明 - anchoring loss の強さと semantic 適応のトレードオフに関する議論は要旨からは不明 - 実機 humanoid への転移や contact 制約下の多様な指示への頑健性は要旨からは不明 - 評価は BONES-SEED 上の retrieval accuracy が中心で、他の指標やタスク範囲は要旨からは不明

6. 次に読むべき論文は?

- BONES-SEED(本研究の評価データセット) - differentiable world model を用いた model-based 学習の関連研究 - kinematic reference 生成+tracking controller による humanoid motion generation の従来手法 - human-robot collaboration における language-conditioned motion generation の関連研究 - paired anchoring loss など正則化を用いた生成器適応の関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zejian Kang, Yeqiang Wang, Zekai Chen, Boyang Shen, Mingyu Ma, Bingqian Wu, Fan Zhou, Jianjie Zhang, Chentao Shen, Wentao Yang, Rui Qian, Xiangru Huang

分類: cs.RO, cs.CV

原文アブストラクト

In human-robot collaboration, natural language lets people direct a humanoid's whole-body movements without programming joint trajectories. A common approach generates a kinematic reference from an instruction and relies on a tracking controller to execute it. However, as the controller maintains balance under contact constraints, the executed motion can depart from the reference in ways that change the action it conveys. Our central insight is that semantic alignment must be evaluated directly on the complete motion the robot physically executes. Building on this insight, we introduce \textbf{SemPhys}, a framework that trains motion generators using semantic feedback from simulated executions. A differentiable world model and a fixed tracking controller predict a short segment of a recorded execution. SemPhys inserts this prediction at its original position, scores the complete trajectory against the instruction, and backpropagates through the predicted segment. A paired anchoring loss stabilizes adaptation by keeping each generated reference close to its counterpart from the initial generator. On BONES-SEED, SemPhys largely preserves instruction retrieval accuracy from reference to execution and achieves the highest retrieval accuracy on executed motions among the evaluated methods.

関連論文

  1. 1パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3日経クロステック、NVIDIA取締役会のファンCEO解任議論を報道 同社は同日、辞任を発表業界動向
  4. 4NVIDIA、ヒトの動きをロボットに適応する「SOMA Retargeter」を紹介研究・技術
  5. 5ティアフォーとTUM、Autowareでミュンヘン大型路線バスの自動運転開発を支援提携・買収

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI