基盤モデル駆動3Dシーングラフによる移動マニピュレーション

- 幾何・意味のFoundation modelを用いて、単一の未キャリブレーションカメラから実時間・タスク駆動・open-setな3D scene graphを構築する手法(FOUND-IT)を、mobile manipulatorの自律パイプラインに統合した研究。 - 統合を通じて、この種の3D spatial memoryの有効性と限界を評価することを目的とする。 - object change detection、複数mapping sessionのサポート、navigable pathの決定、scene re-arrangementのためのobject graspingなど複数タスクを対象とする。

- 従来のrobot mapping技術は広範なsystem demonstrationが行われてきたが、新しい種類のrobot spatial memoryを完全で実用的なautonomy pipelineに統合するための基礎的・システム的知見は限られていた。 - 本研究はこのギャップを埋め、FOUND-ITをmobile manipulator platformに統合して実証する点が貢献。 - 単眼・foundation-model駆動の3D scene graph構築システムの有効性と限界について、ロボット実機での厳密な実験から詳細な知見を与える点が新しい。

- FOUND-ITをmobile manipulator platformに統合し、単一の未キャリブレーションカメラからのmonocular 3D scene graph構築を自律パイプラインの一部として利用する。 - 構築された3D memoryを、object change detection、複数mapping session、navigable path決定、object graspingによるscene re-arrangementに接続する。 - 具体的なアルゴリズム詳細や統合アーキテクチャの構成は要旨からは不明。

- mobile manipulator上での厳密なon-robot実験により検証。 - object change detection、複数mapping sessionのサポート、navigable pathの決定、scene re-arrangementのためのobject graspingといった複数タスクを実演。 - 実験結果から有効性と限界に関する詳細なinsightを導出。定量的評価指標の詳細は要旨からは不明。

- 単眼・foundation-model駆動の3D scene graph構築システムの有効性と限界について、on-robot実験の観察に基づくnuancedな知見を提示。 - 限界の具体的な内容や失敗モードの詳細は要旨からは不明。 - 古典的robot mappingと比較した際のsystem-wideな課題についても言及があるが、詳細は要旨からは不明。

- FOUND-IT(本研究で統合・評価された基盤手法) - Geometric Foundation modelおよびSemantic Foundation modelに関する研究 - 古典的robot mapping / spatial memoryに関する研究 - open-set 3D scene graph構築に関する研究 - mobile manipulationおよびscene re-arrangementに関する研究