日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2611.24816

RoboMorpher: 形態条件付き行動トークナイザによるクロスエンボディメント操作

RoboMorpher: Scaling Robot Morphology Representations for Cross-Embodiment Action Prediction

シェア:XThreadsFacebookLINEはてブBluesky

関節角度とリンク姿勢を同時に再構成する形態条件付き行動トークナイザを大規模事前学習し、視覚言語行動ポリシーに組み込むことで異なるロボット間の行動予測精度を向上させた研究。

詳しい要約

1. どんなもの?

- クロスエンボディメントな manipulation のための action 表現学習手法。 - 関節値だけでなく link pose も再構成する morphology-conditioned action tokenizer「RoboMorpher」を提案。 - 同一関節値でも機体ごとに空間配置が異なる問題に対処する。 - MorphGen により serial-arm 記述を生成し、kinematic supervision を供給。 - 4,000万の morphology-state ペアで pretrain し、VLA policy に統合。 - EmbodiBench という10タスク・各30 URDF のベンチマークも導入。

2. 先行研究と比べてどこがすごい?

- 関節値のみから学習する従来の action 表現に対し、link pose を併せて再構成する点が新しい。 - 制御座標とその kinematic 効果を関連付ける morphology-conditioned 表現を実現。 - MorphGen により survey 由来の geometric prior からスケーラブルな kinematic supervision を生成。 - 凍結 tokenizer を VLA policy に組み込み、離散予測と連続 refinement を両立。 - 連続 joint-space 制御を RoboTwin 2.0 で 9.73pt、EmbodiBench で 15.34pt 上回る。

3. 技術・手法の肝は?

- RoboMorpher: 関節角と link pose を同時再構成する morphology-conditioned action tokenizer。 - MorphGen: survey 由来の geometric prior から serial-arm 記述を生成し kinematic supervision を供給。 - 4,000万の morphology-state ペアで pretrain。 - 凍結した tokenizer を vision-language-action policy に統合。 - 離散予測と連続 refinement を組み合わせて行動を生成。 - 下流 URDF は tokenizer pretraining から除外し、汎化を評価。

4. どうやって有効だと検証した?

- RoboTwin 2.0 で 56.40%、EmbodiBench で 23.27% の success を達成。 - 連続 joint-space 制御に対し 9.73pt / 15.34pt の改善。 - link-pose supervision を除くと EmbodiBench success が 17.94pt 低下。 - 下流 URDF を pretraining から除外した条件で評価。 - EmbodiBench は10タスク・各30生成 URDF で構成。

5. 議論はある?

- link-pose supervision の寄与が大きく、morphology-aware な幾何 supervision の重要性を支持。 - 下流 URDF 除外でも性能が出ることから汎化性が示唆される。 - ただし要旨からは失敗要因や限界、計算コストの詳細は不明。 - MorphGen の geometric prior の一般性や実機適用性は要旨からは不明。 - EmbodiBench のタスク多様性や難易度設定の妥当性は要旨からは不明。

6. 次に読むべき論文は?

- RoboTwin 2.0(本手法が評価に用いたベンチマーク)。 - vision-language-action policy に関する代表的研究(RT-2 など)。 - action tokenizer / action representation learning の関連研究。 - cross-embodiment manipulation の関連研究。 - URDF を用いた morphology-aware 学習の関連研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Wenwei Lin, Yan Qin, Weiliang Deng, Zixuan Li, Kaixuan Wang, Zanxin Chen, Yue Chen, Tianshuo Yang, Junting Chen, Zhixuan Liang, Yao Mu, Ximin Lyu, Renjing Xu, Ping Luo, Tianxing Chen

分類: cs.RO

原文アブストラクト

Learning shared action representations is central to cross-embodiment manipulation. However, identical joint values can produce different spatial configurations across robots, limiting representations learned from joint values alone. We introduce RoboMorpher, a morphology-conditioned action tokenizer that jointly reconstructs joint angles and link poses to associate control coordinates with their kinematic effects. MorphGen supplies scalable kinematic supervision by generating serial-arm descriptions from survey-derived geometric priors. We pretrain RoboMorpher on 40 million morphology-state pairs and integrate the frozen tokenizer into a vision-language-action policy for discrete prediction and continuous refinement. We also introduce EmbodiBench, a ten-task benchmark with 30 generated URDFs per task. With downstream URDFs excluded from tokenizer pretraining, the policy achieves 56.40% success on RoboTwin 2.0 and 23.27% on EmbodiBench, exceeding continuous joint-space control by 9.73 and 15.34 percentage points. Removing link-pose supervision reduces EmbodiBench success by 17.94 percentage points, supporting morphology-aware geometric supervision for joint-action representation learning.

関連論文

  1. 1パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3日経クロステック、NVIDIA取締役会のファンCEO解任議論を報道 同社は同日、辞任を発表業界動向
  4. 4NVIDIA、ヒトの動きをロボットに適応する「SOMA Retargeter」を紹介研究・技術
  5. 5ティアフォーとTUM、Autowareでミュンヘン大型路線バスの自動運転開発を支援提携・買収

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI