変形物体操作2026/9/9arXiv:2609.10243

FolDeX: 変形可能物体の長期的ロボット操作のための実世界ベンチマーク

FolDeX: A Physical-World Benchmark for Long-Horizon Robotic Manipulation of Deformable Objects

衣類折りたたみを主タスクとし、2000時間以上の実ロボットデータと10種以上の機体を用いて、変形物体の長期的な両手操作を評価する実世界ベンチマークを構築した。

詳しい要約

1. どんなもの？

- 実ロボットデータのみで構築した物理世界ベンチマーク - 主タスクはgarment folding - 対象はlong-horizon deformable-object manipulation - 異種物理経験の再利用を4軸で研究 - 展開中のhuman interventionとrecovery data活用 - タスク間転移（garmentカテゴリ間、rigidからdeformableへ） - シーン間転移（lighting、background、layout変化） - embodiment間転移 - 2,000時間以上の実ロボットデータ、20以上のタスク、10以上のembodiment - 外部提出policy向けの公平な実ロボット評価platformを提供 - 標準化タスク、held-out物理オブジェクト、制御された初期化、統一実行protocol - 公開URL: https://ai.midea.com/#/fold-challenge

2. 先行研究と比べてどこがすごい？

- 既存の実ロボットbenchmarkは短期的なrigid-objectタスクが中心 - long-horizon deformable manipulationのカバレッジが限定的 - FolDeXはlong-horizon deformable manipulationに特化し、実ロボットデータのみで構築 - 異種物理経験の再利用を4軸で体系的に研究 - 2,000時間以上、20以上のタスク、10以上のembodimentという規模 - 外部policy向けの公平な評価platformを提供 - simulationで高性能な手法が実機で劣化する問題に対処

3. 技術・手法の肝は？

- 実ロボットデータ収集に基づくbenchmark構築 - garment foldingを主要タスクとして設定 - 4つの研究軸でデータ再利用を検討 - human interventionとrecovery dataの活用 - タスク間転移（garmentカテゴリ間、rigidからdeformableへ） - シーン間転移（lighting、background、layout） - embodiment間転移 - 公平な評価のための標準化 - 標準化タスク、held-out物理オブジェクト、制御された初期化、統一実行protocol - 詳細な技術手法は要旨からは不明

4. どうやって有効だと検証した？

- 実ロボット評価platformを構築 - 外部提出policyを公平に評価 - 標準化タスク、held-out物理オブジェクト、制御された初期化、統一実行protocolを採用 - 具体的な実験結果や性能指標は要旨からは不明

5. 議論はある？

- 実ロボットデータ収集はコストが高い - 異種物理経験の効率的再利用が課題 - simulationと実機の性能ギャップ - long-horizon deformable manipulationにおける状態追跡と多段階bimanual操作の信頼性 - 具体的な議論や限界は要旨からは不明

6. 次に読むべき論文は？

- vision-language-action models - world-action models - 既存の実ロボットbenchmark（短期的rigid-objectタスク） - long-horizon deformable manipulationに関する研究 - 異種データ転移・再利用に関する研究 - 具体的な論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Chenhuan Liu, Yi Xu, Feng Wu, Hanyang Wang, Wenxiao Kuai, Weihao Ding, Shan Wang, Yang Liu, Shuyong Gao, Wenqiang Zhang

分類: cs.RO

原文アブストラクト

Embodied AI, including vision-language-action and world-action models, must operate reliably in the physical world. Yet methods that perform well in simulation can degrade substantially on real robots, especially in long-horizon deformable-object manipulation, where policies must track changing states and execute reliable multi-stage bimanual interactions. Existing real-robot benchmarks mainly focus on short-horizon rigid-object tasks and offer limited coverage of long-horizon deformable manipulation. We introduce FolDeX, a physical-world benchmark built entirely from real-robot data, with garment folding as its primary task. Since real-robot data collection is costly, FolDeX studies how heterogeneous physical experience can be reused efficiently. The benchmark is organized around four research axes: leveraging human intervention and recovery data collected during deployment; transferring data across tasks, including across garment categories and from rigid to deformable-object manipulation; reusing data across scenes with changes in lighting, background, and layout; and transferring data across robotic embodiments. FolDeX provides 2,000+ hours of real-robot data spanning 20+ tasks and 10+ embodiments. We also establish a fair real-robot evaluation platform for externally submitted policies, with standardized tasks, held-out physical objects, controlled initializations, and a unified execution protocol. The platform is publicly accessible at https://ai.midea.com/#/fold-challenge. We hope FolDeX will serve as a unified testbed for heterogeneous real-robot data reuse and reliable long-horizon deformable manipulation.

arXivで原文を読む →arXiv概要ページ