OmniCAD: ロボット組立における3D空間推論のための大規模ベンチマーク

OmniCADは、ロボティクスや産業システムにおける3Dアセンブリ空間推論のための大規模ベンチマークである。25,000の機械アセンブリ（平均12部品、21種類のメイト関係）を含み、ロボット機構、自動車部品、航空宇宙構造、農業機械など多様な産業システムをカバーする。各アセンブリには人間が検証した3Dモデルと20視点からのレンダリングが含まれる。ベンチマークは3つの能力を評価する：(1) コンポーネントレベルの3D空間推論（部品の位置と姿勢の予測）、(2) 部品間の関係推論（メイト関係とアセンブリ制約の識別）、(3) ツール拡張エージェント推論（モデルが視点を選択し、視覚的証拠を検査し、予測を洗練する反復プロセス）。

既存のVLMベンチマークは、一般的な物体認識や単純な空間関係に焦点を当てており、複雑な機械アセンブリの推論は未探索だった。OmniCADは、産業用アセンブリに特化した大規模ベンチマークを提供し、部品の正確なポーズ予測、メイト関係の識別、物理的妥当性（部品の貫通防止など）を評価する点で先行研究を拡張している。また、ツール拡張エージェント推論を評価する点も新しい。

手法の肝は、ベンチマークの設計にある。具体的には、多様な産業システムから25kのアセンブリを収集し、各アセンブリに人間が検証した3Dモデルと20視点のレンダリングを提供する。評価は3つのタスクに分かれ、それぞれが異なる推論能力をテストする。特に、ツール拡張エージェント推論では、モデルが視点を選択し、視覚的証拠を検査し、予測を洗練する反復プロセスをシミュレートする。評価コードとツールインターフェースをオープンソース化する。

実験では、現在のVLMをOmniCADで評価し、産業用アセンブリ推論に苦戦することを示した。具体的には、不正確なポーズ、無効なメイト関係、部品の貫通、アセンブリ複雑性が増すにつれて性能が低下することを観測した。これにより、ベンチマークがVLMの限界を明らかにする有効性を示している。

要旨からは、現在のVLMが産業用アセンブリ推論に苦戦する理由の詳細な分析は不明。また、ベンチマークの限界（例えば、特定の産業分野への偏りや、評価指標の妥当性）についての議論は要旨には含まれていない。さらに、ツール拡張エージェント推論の評価方法の詳細や、人間のパフォーマンスとの比較も要旨からは不明。

要旨で参照されている先行研究は明示されていないが、関連する分野として、VLMの空間推論ベンチマーク（例：SpatialVLM、3D-LM）や、アセンブリ認識のためのデータセット（例：IKEA Assembly、PartNet）が考えられる。また、ツール拡張エージェントの研究（例：Visual ChatGPT、HuggingGPT）も関連する。具体的な論文名は要旨にないため、一般名で挙げる。