3Dアセンブリ2026/10/13arXiv:2610.18604

LLM2R：大規模言語モデルによる3Dパーツ再組み立て

LLM2R: From Large Language Models to 3D Reassemblers

大規模言語モデルを活用し、バラバラの3Dパーツを一括で組み立てる手法を提案。全パーツの姿勢を非自己回帰的に予測し、複数データセットで高精度を達成。

詳しい要約

1. どんなもの？

- 3D part assembly を解く手法 LLM2R の提案。 - 未組立の部品集合から各部品の rigid SE(3) transformation を予測し完全形状を再構成。 - 部品配置は自身の形状だけでは決まらず、部品集合全体の推論が必要。 - 既存手法は pairwise relations や iterative generation and verification に依存し、部品数の多い物体へのスケールが悪い。 - LLM2R は part assembly を pretrained decoder-only LLM による sequence modeling として扱う。

2. 先行研究と比べてどこがすごい？

- 既存手法は pairwise relations や iterative generation and verification に依存し、部品数増加でスケールしにくい。 - LLM2R は単一の非自己回帰 forward pass で全 pose を予測。 - PartNet の3カテゴリで最高の part accuracy と success rate。 - PartNeXt で最良の rotation error、translation error、part accuracy。 - Breaking Bad で最低 translation error と最速推論(精度のみ fracture-specialized 手法が上)。 - 部品数増加で優位が拡大: 100部品で Breaking Bad は GARF を part accuracy で33.5点上回り、PartNet は Assembler を29.1点上回る。 - 未見カテゴリへ zero-shot 転移し、3ベースライン中最強より16点以上高い part accuracy。

3. 技術・手法の肝は？

- part assembly を pretrained decoder-only LLM による sequence modeling として定式化。 - Point-BERT encoder と Q-Former で各部品を geometric tokens のブロックに圧縮。 - 全部品のブロックを連結し、LoRA で適応した causal LLM が1回の forward pass で処理。 - causal attention では各部品の hidden state が先行部品のみ参照する問題に対処。 - 最後の部品の後に learnable summary tokens のブロックを追加。 - summary tokens は全部品に後続するため、その状態が一定 token コストで assembly 全体を集約。 - part-aware pose head が各部品の状態と summary tokens を融合し、rotation と translation を予測。 - 単一アーキテクチャで semantic と geometric の assembly を扱い、全 p…

4. どうやって有効だと検証した？

- PartNet の3カテゴリで part accuracy と success rate が最高。 - PartNeXt で rotation error、translation error、part accuracy が最良。 - Breaking Bad で translation error が最低、推論が最速。 - 部品数増加時の優位を検証: 100部品で Breaking Bad は GARF を part accuracy で33.5点上回る。 - 同条件で PartNet は Assembler を29.1点上回る。 - 未見カテゴリへの zero-shot 転移を検証し、3ベースライン中最強より16点以上高い part accuracy。

5. 議論はある？

- Breaking Bad では fracture-specialized 手法のみが LLM2R より高精度。 - 部品数増加に伴い優位が拡大することが示される。 - zero-shot 転移性能が確認される。 - 要旨からは、失敗事例や限界、計算コストの詳細な議論は不明。

6. 次に読むべき論文は？

- GARF - Assembler - Point-BERT - Q-Former - LoRA - PartNet - PartNeXt - Breaking Bad - fracture-specialized 手法

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhouhan Zhong, Qiuhong Shen, Xingyi Yang, Jinyi Xu, Xinchao Wang

分類: cs.CV, cs.AI, cs.RO

原文アブストラクト

3D part assembly aims to reconstruct a complete shape from a set of unassembled parts by predicting a rigid SE(3) transformation for each part. Because the placement of a part is rarely determined by its own geometry, the task demands reasoning over the entire part set, and existing methods, which rely on pairwise relations or iterative generation and verification, scale poorly to objects with many parts. We present LLM2R, which casts part assembly as sequence modeling with a pretrained decoder-only large language model (LLM): a Point-BERT encoder and a Q-Former compress each part into a block of geometric tokens, the blocks of all parts are concatenated, and a causal LLM adapted with Low-Rank Adaptation (LoRA) processes the sequence in one forward pass. Causal attention, however, lets the hidden states of a part observe only the parts that precede it. LLM2R therefore appends a block of learnable summary tokens after the last part: these tokens follow every part, so their states aggregate the whole assembly at a constant token cost, and a part-aware pose head fuses each part's states with them before predicting its rotation and translation. One architecture thus handles semantic and geometric assembly and predicts all poses in a single non-autoregressive pass. LLM2R achieves the highest part accuracy and success rate on all three PartNet categories, the best rotation error, translation error, and part accuracy on PartNeXt, and the lowest translation error and fastest inference on Breaking Bad, where only a fracture-specialized method is more accurate. Its advantage grows with the number of parts: at 100 parts it exceeds GARF by 33.5 points in part accuracy on Breaking Bad and Assembler by 29.1 points on PartNet, and it transfers zero-shot to unseen categories with more than 16 points higher part accuracy than the strongest of three baselines.

arXivで原文を読む →arXiv概要ページ

← 論文一覧