日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
マニピュレーションarXiv:2611.01190

ClothDojo: 両腕ロボットによる衣類の平坦化・折り畳みのための学習データ生成とベンチマーク

ClothDojo: Learned Data Generation and Benchmarking for Bimanual Garment Flattening and Folding

シェア:XThreadsFacebookLINEはてブBluesky

衣類の平坦化・折り畳みを両腕ロボットで行うため、シミュレーション上で適応的な操作軌跡を大量生成し、閉ループで方策を評価するプラットフォームClothDojoを提案。生成データで学習したRGB方策が人間のデモより優れることを示した。

詳しい要約

1. どんなもの？

- ClothDojo は、二本腕ロボットによる衣類の flattening（平坦化）と folding（折り畳み）のための simulation platform - 多様な garment と初期状態に対して adaptive manipulation trajectories を大規模に生成 - 生成した trajectory を用いて closed loop で policy を評価・benchmarking する - 各 garment の canonical mesh coordinates を NOCS texture としてエンコードし、pretrained vision-language-action model の視覚入力に canonical surface-position cues を与える - 人手の demonstrations と corrections で fine-tune した data-generation policy が自律的に trajectory を生成し、成功基準を満たす rollout のみを保持 - 保持 trajector…

2. 先行研究と比べてどこがすごい？

- 先行研究との具体的比較は要旨からは不明 - 主張されている利点は以下 - 多様な garment・初期状態にわたる adaptive manipulation trajectories を大規模に自動生成できる - 生成 trajectory で学習した RGB policy が、元の human demonstrations と corrections で直接学習した policy を全 garment split・appearance 設定で上回る - NOCS texture を介して pretrained vision-language-action model に canonical surface-position cues を渡す設計 - 数百 garment 規模で約 8,000 の成功 trajectory を生成できる点を規模面の特徴として述べている

3. 技術・手法の肝は？

- 各 garment の canonical mesh coordinates を NOCS texture として付与し、視覚インターフェース経由で pretrained vision-language-action model に canonical surface-position cues を入力 - human demonstrations と corrections で model を fine-tune し、data-generation policy を獲得 - この policy が simulation 上で manipulation trajectories を自律生成し、task 固有の success criteria を満たす rollout のみを保持 - 保持した各 trajectory をランダムにサンプルした appearance で再レンダリングし、NOCS 非入力の downstream policy 向け RGB 観測を生成 - 生成データで RGB policy を学習し、closed loop で評価

4. どうやって有効だと検証した？

- 両 task で数百 garment にわたり約 8,000 の成功 trajectory を生成したと報告 - 生成 trajectory で学習した RGB policy を、元の human demonstrations と corrections で直接学習した policy と比較 - 全 evaluated garment splits および appearance 設定で生成データ学習 policy が上回った - 複数の policy model で評価し、総合性能と appearance robustness が model・task 間で異なること、unseen garments への generalization が共通課題であることを示した

5. 議論はある？

- 複数 policy model の評価で、総合性能と appearance robustness に model・task 間の差があることを報告 - unseen garments への generalization が共通の課題として残ると述べている - simulation 上での生成・評価であり、real robot への転移に関する議論は要旨からは不明 - 生成 trajectory の成功基準や保持率の詳細、失敗 trajectory の分析は要旨からは不明

6. 次に読むべき論文は？

- 要旨で直接参照・比較されている個別研究は明記されていない - 関連手法として以下が挙げられる - vision-language-action model（本手法が fine-tune に用いる基盤） - NOCS（canonical mesh coordinates を texture 化する表現） - human demonstrations と corrections による imitation learning - 同分野の定番として、bimanual garment manipulation の benchmarking 研究や deformable object manipulation の policy learning 研究を次に読む候補として挙げる

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zilong Huang, Zipeng Ye, Caicheng Wang, Yuchen Xie, Jiaxiang Luo

分類: cs.RO

原文アブストラクト

Garment flattening and folding require robots to identify garment structure during manipulation and adapt their actions as the cloth deforms. We present ClothDojo, a simulation platform that generates adaptive manipulation trajectories at scale across diverse garments and initial states and evaluates policies in closed loop. ClothDojo encodes each garment's canonical mesh coordinates as an NOCS texture, providing canonical surface-position cues through the visual interface of a pretrained vision-language-action model. We fine-tune the model on human demonstrations and corrections to obtain a data-generation policy. The policy autonomously generates simulated manipulation trajectories, and we retain rollouts that satisfy task-specific success criteria. Each retained trajectory is re-rendered under a randomly sampled appearance to provide RGB observations for downstream policies that do not receive NOCS. Across both tasks, the policy produces nearly 8,000 successful trajectories over hundreds of garments. RGB policies trained on these generated trajectories outperform those trained directly on the original human demonstrations and corrections across all evaluated garment splits and appearance settings. Evaluations across multiple policy models show that overall performance and appearance robustness vary across models and tasks, while generalization to unseen garments remains a common challenge.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI