日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
変形物体マニピュレーションarXiv:2609.12433

FoldNet++:ロボットによるTシャツ折り畳み・展開のための大規模合成データセット

FoldNet++: a Large-Scale Synthetic Dataset for Robotic T-Shirt Folding and Unfolding

シェア:XThreadsFacebookLINEはてブBluesky

6種類のロボット、1000枚のTシャツ、12万エピソードを含む合成データセットを構築し、実環境で90%以上の成功率を達成した研究。

詳しい要約

1. どんなもの?

- ロボットによるT-shirtの折り畳み・展開のための大規模合成データセット - 6種類のrobotic embodiments、1K T-shirts、1K environmental assets、120K episodesを収録 - 豊富なアノテーション付きで多様なmanipulation policiesの学習に利用可能 - プロジェクトURL: https://pku-epic.github.io/FoldNetXX/

2. 先行研究と比べてどこがすごい?

- 従来は衣服の高い変形性のため汎化可能なpolicyの学習が困難だった - 本データセットは大規模かつ多様なembodiments・T-shirts・環境をカバー - 合成データのみで学習したモデルが実世界の未見環境・未見T-shirtに直接展開可能 - 90%以上のend-to-endタスク成功率を達成

3. 技術・手法の肝は?

- FoldNetパイプラインに従い、物理シミュレーション可能なT-shirtの大規模データセットを生成 - 多様な外観とアノテーション付きsemantic keypointsを付与 - semantic keypointsに基づき、統一されたrule-based frameworkで異なるrobotic embodiments向けのmanipulation demonstrationsを生成 - これらのdemonstrationsを用いてvisuomotor policiesを学習

4. どうやって有効だと検証した?

- 合成データのみで学習したvisuomotor policiesを実世界の未見環境および未見T-shirtに直接展開 - 任意の初期配置から90%以上のend-to-endタスク成功率を達成 - 実験結果により有効性を検証

5. 議論はある?

- 要旨からは不明

6. 次に読むべき論文は?

- FoldNet(本データセットがパイプラインを踏襲した先行研究) - visuomotor policiesに関する研究 - 衣服操作のためのmanipulation policiesに関する研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yuxing Chen, Zhiyuan Wei, Bowen Xiao, Zhizheng Zhang, He Wang

分類: cs.RO

原文アブストラクト

Due to the highly deformable nature of garments, training a generalizable policy for robotic T-shirt folding and unfolding remains a significant challenge. In this work, we present a large-scale synthetic dataset for robotic T-shirt folding and unfolding, covering 6 robotic embodiments, 1K T-shirts, 1K environmental assets, and 120K episodes with rich annotations, which can be used to train a wide range of manipulation policies. We first follow the FoldNet pipeline to generate a large-scale dataset of physically simulatable T-shirts with diverse appearances and annotated semantic keypoints. Based on these semantic keypoints, we then generate manipulation demonstrations for different robotic embodiments through a unified rule-based framework. We use these demonstrations to train visuomotor policies, and experimental results demonstrate that models trained solely on our synthetic data can achieve over 90\% end-to-end task success rates when directly deployed to unseen real-world environments and previously unseen T-shirts from arbitrary initial configurations. Project URL: https://pku-epic.github.io/FoldNetXX/.

関連論文