台所ロボット操作のためのモジュール型認識パイプラインを提案 論文公開

何が起きたか

arXivに公開された論文「Kitchen Robotic Manipulation utilizing Foundation Models」において、家庭環境でのロボット操作、特に台所での食器類の操作を対象としたモジュール型認識パイプラインが提案された。このパイプラインは、オープンボキャブラリ物体検出、マルチビューセグメンテーション、インスタンス認識3D再構成、6D姿勢推定と把持計画のための2D-3D特徴融合戦略を統合する。モジュール設計により複数の視覚・幾何基盤モデルを体系的に置換でき、カスタムキッチンデータセットでの広範な評価を通じて最適な構成を特定した。最適構成（LLMDet + SAMv2 + DINOv2 + GeoTransformer）は、20シーンのキッチンベンチマークでADI 89.12%を達成した。さらに、実世界のデモでは、環境固有の再トレーニングなしで物理ロボットに展開でき、シンクから食器洗い機への移載やカップ積み上げなどのタスクを成功裏に実行した。

Key Facts

なぜ重要か

家庭環境でのロボット操作は、多様で動的な条件への適応が求められる。本提案はモジュール型設計により複数の基盤モデルを組み合わせ、最適構成を特定できる点で、実用的な家庭用ロボットシステムの枠組みとしての可能性を示している。