SG-AMP: シーングラフ誘導型能動知覚と意味認識に基づくピーマン植物の動作計画

SG-AMPは、植物（特にPepper Plants）の能動的知覚と動作計画を統合したシステムである。ロバストなdepth completion（入力条件付き不確実性を統合）、永続的なpanoptic mapping、植物のscene-graph推論、およびsemantics-awareな能動的視点・動作計画を組み合わせる。観測の不確実な領域を検査するだけでなく、scene graphが未観測のpepper-peduncle接続を明示的に仮定し、それらへの近接センシングを導く。候補視点は期待情報利得に基づいて選択され、クラス依存の動作コストが保護対象のpeppers、peduncles、stemsと、条件付きで通過可能なfoliageを区別する。

先行研究では、不確実な領域の観測に焦点を当てた能動的知覚が一般的であるが、SG-AMPはscene graphを用いて未観測の植物構造（pepper-peduncle接続）を明示的に仮定し、それらをターゲットにした近接センシングを計画する点が新しい。また、semantics-awareな動作計画により、保護すべき器官と通過可能なfoliageを区別し、植物への損傷を回避しながら効率的な探索を実現する。これにより、単なる情報利得の最大化を超えた、タスク指向の能動的知覚を実現している。

手法の核は、(1)入力条件付き不確実性を考慮したdepth completionネットワーク、(2)永続的なpanoptic mapping、(3)植物のscene-graph推論、(4)semantics-awareな能動的視点・動作計画の統合である。scene graphは未観測のpepper-peduncle接続を仮定し、それらを観測するための視点を生成する。視点選択は期待情報利得に基づき、動作計画はクラス依存のコスト（保護対象は高コスト、foliageは低コスト）を用いて経路を決定する。

Pepperデータを用いて、知覚ネットワークの性能を評価し、semantic mIoU 55.27%、PQ 38.67%、depth RMSE 40.62mmを達成した。また、入力条件付き不確実性の有効性をNYUv2データセットで検証し、NLLを-1.6518から-1.6925へ、AUSEを0.0102から0.0087へ改善した。システム全体の有効性（能動的知覚と動作計画の統合）については、要旨からは具体的な検証方法は不明である。

要旨からは、システム全体の性能評価や実世界での実験結果は不明であり、議論の余地がある。また、scene graphの仮定が誤っている場合のロバスト性や、計算コスト、他の植物種への一般化などが課題として考えられるが、要旨には記載がない。

要旨で参照されている関連研究は明示されていないが、同分野の定番として、能動的知覚（Active Perception）、panoptic mapping、scene graph generation、semantics-aware motion planningに関する論文が挙げられる。具体的には、NYUv2データセットを用いたdepth completionの研究や、植物の構造推定に関する研究などが関連する。