予算制約下の身体化知覚：四つの資源の壁と、31B未満のオープンモデルにおけるアクセス構造化知覚の事前登録評価

本論文は、固定トークン予算下でのembodied multimodal agentの知覚を扱う。4つのリソース壁（perceptual Shannon wall, horizon wall, round wall, conditional composition wall）を定式化し、訓練不要のラッパーASP（Access-Structured Perception）を提案する。ASPは、capped structured state、verbatim episodic index、query-conditioned budget allocationを組み合わせ、反復アクセスを行う。SEW-Benchというライセンスフリーの合成長horizon walkthroughベンチマークで、3Bから31Bの7つのオープンモデルを事前登録プロトコルで評価する。

先行研究は、コンテキスト長の拡大やパラメータ増加に焦点を当てることが多いが、本論文は固定予算下でのアクセス構造の重要性を強調する。ASPは訓練不要で、既存の凍結モデルに適用可能であり、query-conditionedな予算配分と反復アクセスを導入する点が新しい。また、事前登録による評価と、自然ビデオではなく合成ベンチマークを用いることで、ライセンス問題を回避しつつ、アクセスメカニズムの検証に特化している。

ASPは、3つのコンポーネントからなる：①capped structured state（圧縮された状態表現）、②verbatim episodic index（逐語的なエピソードインデックス）、③query-conditioned budget allocation（クエリ条件付き予算配分）と反復アクセス。これらを凍結マルチモーダルモデルに適用する訓練不要のラッパーである。4,096トークンの決定予算下で、フレーム選択や予算配分をクエリに応じて動的に行う。

SEW-Bench（合成長horizon walkthroughベンチマーク）で、7つのオープンウェイトモデル（3B〜31B）を評価。事前登録プロトコルに従い、4,096トークン予算で、ASPは75〜94%のepisodic retrieval accuracyを達成し、等予算のquery-independent sampling（3〜19%）を大幅に上回る。また、予算再配分は、サンプリング予算を4倍に増やすよりも全バックボーンで優れる。しかし、3コンポーネント全体ではchannel dualityは検証されず、圧縮状態を除去するとフラッグシップ平均が35.4から58.0に上昇し、ASPはどのバックボーンでもverbatim-onlyベースラインを上回らない。4つの事前登録反証基準のうち2つが発火した。

結果は、固定予算下ではquery-conditioned accessが決定的であることを示すが、prompted online compressionはコストに見合わない。自然ビデオベンチマークはデータセット契約のため実行されず、証拠はアクセスメカニズムに限定される。channel dualityの仮説は支持されず、圧縮状態の有効性に疑問が残る。また、合成ベンチマークの現実性や、より大規模モデルでの一般化については要旨からは不明。

要旨で参照されている関連研究として、query-conditioned accessやbudget allocationに関する手法、embodied multimodal agentsの既存研究、およびSEW-Benchの構築に関連する合成ベンチマークの研究が挙げられる。具体的には、自然ビデオでの評価を可能にするデータセットや、圧縮状態の改善に関する研究が次に読むべきであろう。