クロスエンボディメント2026/11/10arXiv:2611.13732

異なるロボット間で共有できる意図表現を学ぶマニピュレーション手法CIALLO

CIALLO: Learning Shared Intent Representations for Cross-Embodiment Manipulation

行動・視覚変化・言語を短期的な意図の共有空間に整列させるアクションコーデックを提案し、新ロボットへ10秒の記録だけで適応、少ない実演で高い成功率を実現した。

詳しい要約

1. どんなもの？

- 複数 embodiment の操作知識を共有するための action codec『CIALLO』を提案する研究。 - 短期的な behavioral intent の共有空間に action・視覚変化・observation-grounded language を整列させる。 - embodiment-conditioned decoder で intent を各ロボット固有の action に変換する。 - 8 embodiment で pretraining 後、新ロボットには最大10秒の記録1本で embodiment embeddings のみ更新して適応する。 - その後の policy は観測と指示から intent を予測する。Qwen3.5-4B を用いた Qwen-CIALLO を構成する。

2. 先行研究と比べてどこがすごい？

- action reconstruction だけでは類似行動が同一表現を共有する保証がない、という課題を指摘。 - action・視覚変化・言語を共有 intent 空間に整列させる点が特徴。 - 新 embodiment への適応を embodiment embeddings の更新のみで行い、codec を凍結して policy 学習と分離する。 - Qwen-CIALLO の backbone は policy finetuning 前に大規模 robot-action pretraining を要しない。 - 実機 SO-101 と single-arm Piper で 20 demonstrations/task のとき 76.7% 平均成功、fully finetuned π0 の 70.0% を上回る。

3. 技術・手法の肝は？

- action codec が action・visual changes・observation-grounded language を short-horizon behavioral intent の共有空間に整列。 - embodiment-conditioned decoder が共有 intent を robot-specific actions に写像。 - 8 embodiment で pretraining 後、新ロボットは最大10秒の1記録で embodiment embeddings のみ更新して calibration。 - calibrated codec は凍結し、policy が観測と指示から intent を予測するよう学習。 - policy は Qwen3.5-4B で実装(Qwen-CIALLO)。simulation では action decoder も追加 finetune。

4. どうやって有効だと検証した？

- 実機: SO-101 と single-arm Piper で 20 demonstrations/task、平均成功率 76.7%(fully finetuned π0 は 70.0%)。 - Simulation: action decoder を追加 finetune し LIBERO で 97.3%、RoboTwin 2.0 で 52.7%。 - LIBERO policy は追加 finetuning なしで LIBERO-Plus 80.8%。 - 8 embodiment での pretraining と新 embodiment への短時間 calibration を含む設定で評価。

5. 議論はある？

- 共有 action codec を転送可能な control interface と位置づけ、embodiment calibration と task learning を分離できると主張。 - action reconstruction 単独では不十分という動機に対し、action・視覚変化・言語の整列が有効であることを結果が支持。 - 実機・simulation 双方で有効性を示すが、詳細な限界や失敗分析は要旨からは不明。 - 新 embodiment 適応が最大10秒の1記録・embeddings 更新のみで足りる範囲や一般性は要旨からは不明。

6. 次に読むべき論文は？

- fully finetuned π0(比較対象の vision-language-action policy)。 - LIBERO / LIBERO-Plus / RoboTwin 2.0 の関連研究。 - Qwen3.5-4B を backbone とする VLA 研究。 - action codec・shared representation を用いる cross-embodiment manipulation 研究。 - embodiment-conditioned decoder や embodiment embeddings による robot adaptation の関連手法。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Choo Sin Wai, Dake Zhong, Jingye Zhang, Zhifang Liu, Siyao Xiao, Zirong Ding, Yuhong Zhang, Kangjie Chen, Dongbin Zhang, Guorui Song, Guocun Wang, Peng Jiao, Haoqian Wang

分類: cs.RO

原文アブストラクト

Robot demonstrations contain reusable manipulation knowledge, but transferring this knowledge across embodiments requires representations that bridge differences in control interfaces. Action reconstruction alone does not ensure that similar behaviors across robots share a representation. To address this gap, we introduce CIALLO, an action codec that aligns actions, visual changes, and observation-grounded language in a shared space of short-horizon behavioral intent. An embodiment-conditioned decoder maps this intent back to robot-specific actions, allowing a shared representation to support different control interfaces. After pretraining on eight embodiments, CIALLO adapts to a new robot from one recording of at most 10 seconds by updating only its embodiment embeddings. The calibrated codec then remains frozen while a policy learns to predict intent from observations and instructions. We instantiate this policy with Qwen3.5-4B to form Qwen-CIALLO, whose backbone requires no large-scale robot-action pretraining before policy finetuning. With 20 demonstrations per task, Qwen-CIALLO achieves 76.7\% average success across real SO-101 and single-arm Piper robots, compared with 70.0\% for fully finetuned $π_0$. In simulation, we additionally finetune the action decoder, achieving 97.3\% success on LIBERO and 52.7\% on RoboTwin 2.0. The LIBERO policy also achieves 80.8\% on LIBERO-Plus without further finetuning. Together, these results support a shared action codec as a transferable control interface that separates embodiment calibration from task learning.

arXivで原文を読む →arXiv概要ページ

異なるロボット間で共有できる意図表現を学ぶマニピュレーション手法CIALLO

詳しい要約

1. どんなもの？

2. 先行研究と比べてどこがすごい？

3. 技術・手法の肝は？

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

原文アブストラクト

関連論文

今週よく読まれている記事