日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

模倣学習arXiv:2611.22797

未知のロボットとスキルの組み合わせをゼロショットで実現する幾何学的教師あり学習

Zero-Shot Compositional Generalization for Embodied Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

実演データが揃っていないロボットとスキルの組み合わせでも、順運動学による幾何学的監督を用いて視覚ポリシーを学習し、未知の組み合わせへゼロショットで転移できるようにした研究。

詳しい要約

1. どんなもの?

- 異なる embodiment で収集された robot demonstrations を活用し、未観測の robot-skill の組み合わせを zero-shot で構成するための学習フレームワーク。 - 既知の robot と skill の zero-shot composition を目指す geometry-supervised training framework を提案。 - 中心となる着想は、demonstrated command がそれを実現可能なあらゆる robot に対して tool-space target を与えるという点。

2. 先行研究と比べてどこがすごい?

- 従来は demonstrations が embodiment ごとに収集され、joint labels が実演した kinematic chain に紐づくため、多くの robot-skill の組み合わせが未観測のままだった。 - データを pool して visual knowledge を共有しても、joint labels は実演 embodiment に縛られるという課題があった。 - 提案法は foreign native action interface に joint labels なしで監督を与え、未観測の robot-task の組み合わせへの転移を改善する点が新しい。

3. 技術・手法の肝は?

- calibrated forward kinematics により、foreign native action interface へ tool-space の監督信号を供給する。 - native reconstruction で demonstrated configurations を保持し、positive reachability checks で cross-robot supervision の target を選別する。 - visual policy が shared actions を予測し、target robot の native decoder を通じて実行する。 - policy learning 中、1つの prediction が source と foreign 両方の native realization を通じて geometric supervision を受ける。

4. どうやって有効だと検証した?

- matched supervision controls を設け、3つの backbones と 2つの simulators にわたり policy training と evaluations を繰り返し実施。 - その結果、missing robot-task combinations への転移が改善することを示した。

5. 議論はある?

- 要旨からは不明。 - ただし matched supervision controls や複数 backbone・simulator での評価により、監督設計の効果を切り分ける議論が示唆される。

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明示されていない。 - 関連手法として forward kinematics、visual policy learning、cross-embodiment transfer、zero-shot compositional generalization の定番研究を挙げる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Baicheng Li, Wenkang Qin, Youqi Pan, Dongxiao Mao, Yukun Zhou, Chuanfu Shen, Dong Wu, Shunkai Zhou, Zike Yan, Wei Sui, Hongbin Zha

分類: cs.RO

原文アブストラクト

Robot demonstrations are collected on different embodiments, leaving many robot-skill combinations unobserved. Pooling these data shares visual knowledge, while joint labels remain tied to the demonstrating kinematic chain. We propose a geometry-supervised training framework for zero-shot composition of familiar robots and skills. The central insight is that a demonstrated command provides a tool-space target for every robot that can realize it. Calibrated forward kinematics supplies this supervision to foreign native action interfaces without their joint labels for that skill. Native reconstruction retains demonstrated configurations, and positive reachability checks select targets for cross-robot supervision. A visual policy learns to predict shared actions and executes through the target robot's native decoder. During policy learning, one prediction receives geometric supervision through both source and foreign native realizations. Matched supervision controls, repeated policy training and evaluations across three backbones and two simulators demonstrate improved transfer to missing robot-task combinations.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  4. 4SoftBank主導、Agile Robotsが5億ドル調達 NVIDIAと日立も参加資金調達
  5. 5パナソニックHD、「現場起点のPhysical AI」の研究開発加速を発表研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI