日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
3D再構成arXiv:2611.04221

Mamba3R: 固定容量の選択的状態メモリによる長系列3D再構成

Mamba3R: Fixed-Capacity Selective State Memory for Long-Sequence 3D Reconstruction

シェア:XThreadsFacebookLINEはてブBluesky

再帰型3D再構成モデルのバックボーンを凍結したまま、固定容量の補助メモリと選択的状態空間ミキサを組み合わせた軽量アダプタ(128万パラメータ)を学習し、長系列での軌道・表面・深度精度を向上させた。

詳しい要約

1. どんなもの?

- 長い入力列に対する streaming 3D reconstruction を、固定 GPU 予算内で幾何品質を保ちながら行うための手法。 - 事前学習済み recurrent model の backbone と task heads を更新せず、bounded state を維持する。 - 学習するのは state-memory adapter のみで、パラメータ数は 1.28 million。 - 屋内・屋外の公開データセットと robot 記録の走行データで評価。

2. 先行研究と比べてどこがすごい?

- 事前学習済み recurrent model を凍結すると state-observation の相互作用が固定される問題に対し、backbone を更新せず適応経路を追加。 - 共有 periodic-reset protocol の下で、recurrent baselines より trajectory error を低減し、accumulated surface と depth accuracy を改善。 - ある指標では最大 40 percent の改善。 - 割当メモリは変えず、1 から 2,000 フレームで throughput 変動は最大 1.4 percent。

3. 技術・手法の肝は?

- selective state-space mixer が native state features と fixed-capacity auxiliary memory を jointly に変換。 - 明示的な read path と write path でフレーム間の情報伝達を行う。 - decomposed feedback path が追加メモリのフィードバックを調整。 - backbone と task heads は更新せず、adapter のみを学習。

4. どうやって有効だと検証した?

- 公開 indoor および outdoor データセットと robot-recorded traversals で検証。 - 共有 periodic-reset protocol の下で recurrent baselines と比較。 - matched comparisons により mixing operator の選択とフレーム間の auxiliary memory 保持の有用性を支持。 - RTX 4060 上で同一 checkpoint により平均 11.7 FPS、5.1 GiB 以内、10 Hz sensor rate をカバー。

5. 議論はある?

- 固定容量メモリと backbone 凍結により bounded state を保つ設計。 - 1 から 2,000 フレームで割当メモリは不変、throughput 変動は最大 1.4 percent。 - ただし比較は共有 periodic-reset protocol 下に限定され、他条件での挙動は要旨からは不明。 - 長大系列での限界や失敗ケースは要旨からは不明。

6. 次に読むべき論文は?

- 比較対象として言及される recurrent baselines 関連の streaming 3D reconstruction 研究。 - selective state-space model の代表として Mamba 系の手法。 - 固定容量 auxiliary memory や state-memory adapter を用いる長系列モデリング研究。 - periodic-reset protocol を採用する streaming reconstruction 研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhenxiang Xiong, Tianchen Deng, Nailin Wang, Lei Zhao, Guole Shen, Weidong Che

分類: cs.CV

原文アブストラクト

Streaming 3D reconstruction must maintain geometric quality over long inputs within a fixed GPU budget. A pretrained recurrent model provides bounded state, but freezing its backbone also fixes its learned state-observation interactions. We introduce Mamba3R, a jointly designed state-memory adapter that provides a trainable adaptation path without updating the backbone or task heads. A selective state-space mixer jointly transforms native state features and a fixed-capacity auxiliary memory, explicit read and write paths carry information across frames, and a decomposed feedback path regulates what the added memory feeds back. Only 1.28 million adapter parameters are trained. Under a shared periodic-reset protocol, it lowers trajectory error and improves accumulated surface and depth accuracy over recurrent baselines on public indoor and outdoor datasets and robot-recorded traversals, gaining up to 40 percent on one metric. Matched comparisons support both the choice of the mixing operator and the utility of carrying the auxiliary memory across frames. Allocated memory remains unchanged and throughput moves by at most 1.4 percent from one to two thousand frames. Replaying its recorded traversals offline, the platform's RTX 4060 averages 11.7 frames per second within 5.1 GiB with the same checkpoint, a mean throughput covering the 10 Hz sensor rate.

関連論文

PR本紙発行元 EmplifAI