AssemblyWorld:汎用エージェントによる3D組立の再考
AssemblyWorld: Rethinking 3D Assembly with General-Purpose Agents
汎用エージェントが微調整なしに視覚情報から3D組立を行えるかを評価する環境とベンチマークを構築し、8システムの性能差を明らかにした。
詳しい要約
1. どんなもの?
2. 先行研究と比べてどこがすごい?
3. 技術・手法の肝は?
4. どうやって有効だと検証した?
5. 議論はある?
6. 次に読むべき論文は?
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Jiahao Zhang, Yeying Fan, Moitreya Chatterjee, Suhas Lohit, Bernhard Egger, Tim K. Marks, Anoop Cherian, Stephen Gould
分類: cs.CV, cs.RO
原文アブストラクト
The task of 3D assembly requires translating an understanding of parts and their relationships into precise spatial arrangements. Can pretrained general-purpose agents assemble objects through visual interaction without additional assembly-specific fine-tuning? To investigate this question, we introduce AssemblyWorld, an interactive 3D environment in which agents inspect rendered views and manipulate supplied rigid parts, guided by images or assembly manuals when available. Agents perceive part geometry through 2D views rather than direct access to mesh vertices or faces, while their resulting assemblies are evaluated geometrically. Building on this environment, we construct AssemblyWorldBench, comprising 100 assembly tasks across 80 objects spanning furniture, industrial assembly, and fracture reassembly. Evaluating eight agent systems reveals substantial differences in their capabilities. The strongest system achieves 80.9% part accuracy but 59.4% complete-assembly success. The evaluated open-source systems lag substantially behind their stronger closed-source peers in both execution reliability and assembly accuracy. Analyses of visual references, interaction trajectories, and failures show how agents revise assemblies while leaving residual positioning errors. AssemblyWorld provides a common setting for both assessing the capabilities of interactive assembly agents and characterizing the gap between approximate structure recovery and precise reconstruction.
関連論文
- スクリューアテンション:Transformer内部に剛体代数を組み込むマニピュレーション
- SkeleWAM: 骨格ワールドアクションモデリングによる効率的なロボットマニピュレーションマニピュレーション
- FlashDexRetarget: 多動作リターゲティングによる器用操作データ生成の高速化マニピュレーション
- 解像度に一貫したヤコビアン場を学習する生体模倣剛柔指マニピュレーション
- Recova: 自律ロボットマニピュレーションのためのエージェント誘導型失敗回復マニピュレーション
- 経験と実演による6自由度把持合成の継続学習マニピュレーション