日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2611.26376

アライメントが再利用を促進する:異種経験から汎化可能なロボット操作エージェントを学習

Alignment Drives Reuse: Learning Generalizable Robot-Use Agents from Heterogeneous Experience

シェア:XThreadsFacebookLINEはてブBluesky

異なるベンチマークやロボット身体の相互作用を座標系や入出力インターフェースの整合で統一し、デモや重み更新なしに共有スキルを学習・再利用するフレームワークUniCraftを提案。未見タスクや新規身体へのゼロショット転移を実現した。

詳しい要約

1. どんなもの?

- VLMの広い汎化性に対し、robot manipulationでの汎化は難しいという問題設定の研究 - 異なるbenchmark・embodimentのheterogeneousなinteractionをalignmentして共有skill setを学習する枠組み UniCraft を提案 - 複数benchmarkのtaskをcanonical形式で組織し、interaction feedbackから共有skillとorchestration policyを改善 - demonstrationやmodel weight更新を必要としない学習手法として位置づけ - 学習後はskillをfrozenにしてzero-shot transferを狙う枠組み

2. 先行研究と比べてどこがすごい?

- embodiment・task formulation・geometric convention・action interfaceのheterogeneityで経験が分断される問題をalignmentの観点で再考する点が特徴 - 単一benchmark/embodimentに閉じず、複数benchmark・複数embodimentのinteractionを1つの共有skill setの改善に統合する点が差異として示唆される - demonstrationやmodel weight更新なしで共有skillとorchestration policyを洗練する点が主張されている - 具体的な先行研究名との比較は要旨からは不明

3. 技術・手法の肝は?

- 観測scene geometryをconsistentなcoordinate conventionで表現 - 異なるrobot間でsensingとcontrol interfaceをalign - 異なるbenchmarkのtaskをcanonical formatに組織化 - interaction feedbackを共有skillの改善と、skillの選択・compositionを導くorchestration policyの改善に共同で利用 - demonstrationやmodel weight更新を伴わない学習ループが肝

4. どうやって有効だと検証した?

- 3 benchmarks・6 embodimentsのtaskをinterleaveし、agent modelあたり2,700 learning rolloutsを収集 - 学習中、unseen scenario/taskでのpooled task successがLIBERO-PROで9-28 percentage points、RoboTwin 2.0で10.8-13.3、RoboCasa365で3.1-14.4改善(Epochs 1-3) - 学習後、skillをfrozenにしてrobosuiteとRoboDojo上で4つの新規embodiment・5つの追加agent modelへのzero-shot transferを実証

5. 議論はある?

- heterogeneous設定のalignmentが汎化を駆動するという主張の一般性・限界についての議論は要旨からは不明 - benchmark間のtask formulationやcoordinate conventionの差異をどこまでcanonical化できるかの議論は要旨からは不明 - demonstrationやweight更新なしでのskill改善の上限やorchestration policyの汎化範囲は要旨からは不明 - zero-shot transfer先のembodiment/agent model選択の代表性は要旨からは不明

6. 次に読むべき論文は?

- LIBERO-PRO(評価benchmarkとして参照) - RoboTwin 2.0(評価benchmarkとして参照) - RoboCasa365(評価benchmarkとして参照) - robosuite(zero-shot transfer評価環境として参照) - RoboDojo(zero-shot transfer評価環境として参照) - VLMベースのrobot manipulation汎化に関する関連研究(具体名は要旨からは不明)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ziyue Wang, Yaopeng Yang, Liyi Zhou

分類: cs.RO

原文アブストラクト

Vision-language models (VLMs) demonstrate broad generalization across tasks and domains. However, comparable generalization in robot manipulation remains challenging. Heterogeneity in robot embodiments, task formulations, geometric conventions, and action interfaces fragments interaction experience across benchmarks and hardware. We rethink robot skill learning through alignment: Can heterogeneous interactions across benchmarks and embodiments jointly improve one shared skillset for robot manipulation? We propose UniCraft, a framework for learning robot manipulation skills by aligning heterogeneous settings. Specifically, UniCraft represents observed scene geometry using consistent coordinate conventions and aligns sensing and control interfaces across robots. It organizes tasks from different benchmarks in a canonical format, allowing interaction feedback to jointly refine shared skills and the orchestration policy that guides their selection and composition, without any demonstrations or model weight updates. We interleave tasks from 3 benchmarks and 6 embodiments, collecting 2,700 learning rollouts per agent model. During training, UniCraft improves pooled task success on unseen scenarios and tasks by 9-28 percentage points on LIBERO-PRO, 10.8-13.3 on RoboTwin 2.0, and 3.1-14.4 on RoboCasa365 (Epochs 1-3). After training, with the learned skills frozen, UniCraft demonstrates zero-shot transfer across 4 new robot embodiments and 5 additional agent models on robosuite and RoboDojo.

関連論文

  1. 1パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  2. 2川崎重工業のロボット外販を報道新製品・発表
  3. 3Boston Dynamics、GlobalFoundriesでAtlasを試験へ 半導体製造で2027年初頭から半導体・GPU
  4. 4丸文、RealManのロボットアームやヒューマノイドを国内販売提携・買収
  5. 5NVIDIA、SC26で科学研究向けAIエージェントとHPC基盤を発表新製品・発表

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI