エンコーダは実際に何を決めているのか？樹木のジョイントセグメンテーションとステレオ深度における視覚バックボーンの制御比較

- ロボットによる樹木剪定を想定し、各ピクセルが樹木に属するかとその距離を同時に推定するタスクを扱う。 - 単一のvision backboneに2つのタスクヘッドを接続し、joint semantic segmentationとstereo depthを実行する。 - データセット、デコーダ、損失、スケジュール、評価を固定し、エンコーダのみを交換して比較する。 - 約25Mパラメータの予算で、CNNs、transformers、hybrids、MLP-mixers、state-space modelsの[M]アーキテクチャファミリーから[N]エンコーダをスクラッチから訓練する。 - 細い植生に対する性能を評価する。

- 従来は評判でvision backboneを選ぶことが多かったが、本研究ではデータセットや下流の設定を固定し、エンコーダ選択の影響を制御比較する。 - パラメータ数が品質を予測しないことを示し、[SmallEncoder]が[P]Mパラメータで2桁大きいモデルを上回る。 - 最強のエンコーダはconvolutionalとhybridであり、transformerではないことを示す。 - スクラッチから訓練した場合、[Y]個のplain vision transformersのうち[X]個が崩壊する。 - セグメンテーションとdepthのランキングが強く一致し（Spearman ρ = [RhoValue]）、タスク間の衝突がないことを示す。 - [N]個のエンコーダのうち[K]個が全てを樹木と予測する退化に陥ることを、boundary F1で明らかにする（region IoUでは隠れる）。

- ハードパラメータ共有ネットワークを構築し、1つのエンコーダが両ブランチに特徴を供給する。 - エンコーダのみを交換し、下流の再調整は行わない。 - セグメンテーション評価にはboundary F1とbackground IoUを使用し、「全てを樹木とラベル付けする」ショートカットを防ぐ。 - Depth評価は樹木ピクセルのみで行う。 - 約25Mパラメータの予算で、複数のアーキテクチャファミリーからエンコーダを選定し、スクラッチから訓練する。

- データセット、デコーダ、損失、スケジュール、評価を固定した制御比較により、エンコーダの影響を分離して検証する。 - [N]エンコーダを[M]ファミリーにわたり評価し、セグメンテーションmIoUとdepth δ1を測定する。 - セグメンテーションとdepthのランキング相関（Spearman ρ）を計算し、タスク間の関係を検証する。 - boundary F1とbackground IoUを用いて、退化したセグメンテーションを検出する。

- エンコーダ選択がjointタスク性能に大きく影響することを示す。 - パラメータ数が品質を予測しないという発見は、モデル選択の指標としてパラメータ数が不適切である可能性を示唆する。 - セグメンテーションとdepthのランキングが一致することから、タスク間の衝突がないことが示唆される。 - 一部のエンコーダが全てを樹木と予測する退化に陥る問題を指摘し、評価指標の重要性を議論する。 - 具体的な議論の詳細は要旨からは不明。

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、CNNs、transformers、hybrids、MLP-mixers、state-space modelsなどのvision backboneが挙げられる。 - 同分野の定番として、semantic segmentationとstereo depthのjoint学習に関する研究や、vision backboneの比較研究が考えられる。