日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

異形態間学習arXiv:2611.10148

BATCH: 人間からロボットへの行動アライメントによる異形態間学習

BATCH: Behavior Alignment for Cross-Embodiment Learning from Humans

シェア:XThreadsFacebookLINEはてブBluesky

人間とロボットの行動を自己教師ありの時間表現とサイクル一貫性で対応付け、映像行動拡散モデルで異形態間の操作スキル転移を実現した研究。

詳しい要約

1. どんなもの?

- 人間のdemonstrationからロボット学習へ転移するためのcross-embodiment学習フレームワークBATCHの提案。 - 人間とロボットのbehaviorを明示的にalignする点が中心。 - 自己教師ありtemporal representationをcycle-consistency objectiveで学習し、手動annotationなしでcross-embodiment correspondencesを獲得。 - autoregressive video-action diffusion model内でbehavior-aligned co-trainingとhuman-to-robot style transferの2目的を併用。 - 実世界manipulationで未見task configurationへの汎化改善を報告。

2. 先行研究と比べてどこがすごい?

- 従来はembodiment・viewpoint・action space・temporal structureの差異が人間データ活用の障壁。 - 提案はalignmentなしの学習やprior cross-embodiment baselinesより未見task configurationへの汎化が向上。 - 手動annotation不要のself-supervised correspondences獲得が特徴。 - style-transfer objectiveによる追加の利得も示す。 - 具体的なprior手法名は要旨からは不明。

3. 技術・手法の肝は?

- cycle-consistency objectiveによるself-supervised temporal representation学習でcross-embodiment correspondencesを構築。 - 得られたcorrespondencesをautoregressive video-action diffusion model内で活用。 - behavior-aligned co-trainingとhuman-to-robot style transferの2つの相補的training objectiveを導入。 - 人間とロボットのbehaviorを明示的にalignする枠組み。 - 詳細なarchitecture・loss設計は要旨からは不明。

4. どうやって有効だと検証した?

- 実世界manipulationタスクで評価。 - 未見task configurationへの汎化を、unaligned dataでの学習およびprior cross-embodiment baselinesと比較。 - style-transfer objective追加による更なる利得を確認。 - 定量指標・被験者数・タスク数など詳細は要旨からは不明。

5. 議論はある?

- 明示的behavior alignmentが人間demonstrationからロボットpolicyへの転移をより効果的にすることを示唆。 - style transferの寄与とco-trainingの寄与を分けて評価。 - 限界・失敗事例・計算コスト・安全性の議論は要旨からは不明。 - 一般化可能性の範囲も要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されているprior cross-embodiment baselines(具体名は要旨からは不明)。 - cross-embodiment learningおよびhuman-to-robot transferの関連研究。 - video-action diffusion modelに関する研究。 - cycle-consistencyを用いたself-supervised representation learningの関連手法。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zeyi Liu, Shuran Song

分類: cs.RO, cs.AI, cs.CV

原文アブストラクト

Human demonstrations provide a scalable source of diverse manipulation data, but leveraging them for robot learning remains challenging due to differences in embodiment, viewpoint, action spaces, and temporal structure. We introduce BATCH, a cross-embodiment learning framework that explicitly aligns human and robot behaviors. BATCH learns self-supervised temporal representations with a cycle-consistency objective to establish cross-embodiment correspondences without manual annotation. We further introduce two complementary training objectives that leverage these correspondences within an autoregressive videoaction diffusion model: behavior-aligned co-training and human-to-robot style transfer. On real-world manipulation tasks, BATCH improves generalization to unseen task configurations compared with training on unaligned data and prior cross-embodiment baselines, with additional gains from the style-transfer objective. Our results demonstrate that explicit behavior alignment enables more effective transfer from human demonstrations to robot policies.

  1. 1パナソニックHDら、ロボット操作AI「T-Rex」を共同開発 12タスクで平均成功率65%研究・技術
  2. 2Hugging Face、ロボット学習基盤「LeRobot v0.7.0」を公開 対話操作と大規模データ学習に対応新製品・発表
  3. 3NVIDIA、Vera CPUのエージェント処理性能を公表 x86比で速度・電力効率を比較半導体・GPU
  4. 4Agility、SPAC合併でナスダック上場資金調達
  5. 5智元、清華大学などとCELを発表 96台のロボットで群体学習を検証研究・技術
PR本紙発行元 EmplifAI