SceneBound：ストリーミング3D再構成モデルはどこまで記憶すべきか

- ストリーミング3D再構成モデルにおける「過去フレームをどこまで記憶するか」を制御する training-free な書き込み規則 SceneBound の提案。 - モデルの記憶は recurrent state、test-time training の fast weights、key-value (KV) cache の3種類を想定。 - 予測カメラポーズが保存済み keyframe から一定半径以上離れたときのみフレームを書き込む方式。 - 大規模シーンでは最初のフレームを再デコードして drift を検出すると submap を閉じる。

- 既存の training-free gate は現フレームの信号で書き込みを決めるが、その書き込み量と平均精度の関係が十分整理されていなかった。 - 著者らは、信号なしで均等間隔にゲートの更新予算を配分しても公開済み9種の gate と同等になること、予算が書き込み位置によらず状態の drift を抑えることを示す。 - SceneBound は keyframe 数が訪問ポーズの covering number の定数倍に収まる点で、書き込み量を訪問場所に応じて増やし、カメラが戻ると増えない性質を持つ。 - CUT3R の recurrent state と StreamVGGT の KV cache で、評価した公開 training-free 規則の中で最低の平均 trajectory error を達成。

- 予測カメラポーズと全保存 keyframe との距離を計算し、固定半径以上離れている場合のみ書き込む training-free ルール。 - 半径は4つの公開モデルと3種類のメモリで共通の1つの値を用いる。 - keyframe 数は訪問ポーズ集合の covering number の定数倍で抑えられ、訪問場所の増加に応じて増え、カメラが戻ると平坦になる。 - 大規模シーンでは、最初のフレームを再デコードして drift が明らかになった時点で submap を閉じる。

- 4つの公開モデルと3種類のメモリタイプに対して単一の半径で評価。 - CUT3R の recurrent state と StreamVGGT の KV cache において、公開済み training-free 規則との比較で平均 trajectory error が最低。 - 1パスおよびシーンを9回周回する設定で評価し、その際 keyframe 数は3%から6%増加。 - 9種の公開 gate との比較および書き込み予算と drift の関係の分析を実施。

- 書き込み量の予算が状態の drift を抑えるという理論的性質と、信号なしの均等間隔書き込みが9種の gate と同等という知見を示す。 - keyframe 数が covering number の定数倍に収まる性質と、カメラが戻った際に増えない挙動が議論の中心。 - 大規模シーンでの submap 閉鎖の扱いと、単一半径が4モデル・3メモリで通用する点が議論対象。 - 具体的な限界や失敗ケースについての詳細は要旨からは不明。

- CUT3R - StreamVGGT - test-time training の fast weights を用いる手法 - key-value (KV) cache を用いるストリーミング3D再構成手法 - 公開済み training-free gate 9種（個別名は要旨からは不明）