視覚モデル2026/11/1arXiv:2611.01866

蝶の夢：コネクトーム制約視覚モデルにおける世界モデル生成の線形分離可能性

The (Butter)fly Dream: Linear Separability of World-Model Rollouts in a Connectome-Constrained Visual Model

ハエ脳のコネクトーム制約モデルに世界モデルが生成した映像を見せ、訓練済みモデルの応答から「夢」と現実を線形分類できるか検証した。訓練後は9種の生成世界すべてが高精度で分離可能だった。

詳しい要約

1. どんなもの？

- connectome-constrained な fly 視覚系モデル（721-column retina 上で optic-flow estimation のみ学習）を観測者とし、world model が生成する「夢」を見分けられるかを問う研究。 - 現実は MPI-Sintel 映画、夢は実フレーム5枚からの3種の small world model（persistence random walk, MDN-RNN, RSSM）×3温度による継続生成。 - 判定は cell-type 応答の時間統計に対する classifier two-sample test（sequence-level cross-validation）。 - 学習済み観測者の応答で夢と現実が線形分離可能かを評価する枠組み。

2. 先行研究と比べてどこがすごい？

- 単一タスク（optic-flow estimation）で学習した connectome-constrained モデルが、そのタスク外の「世界の欠陥」を線形に読み出せる形で保持することを示す点。 - 学習前の同一ネットワークでは分離が弱く（0.58-0.75）、学習後に 0.85-0.99 へ上昇（paired difference 0.20-0.37）。 - 未見シーケンスでも同等に分離でき、分離の順序は pixel error と無関係である点を報告。 - 天井付近の AUC に対し、順序のみ崩した graded probe と detection horizon を導入して識別能を段階的に評価。

3. 技術・手法の肝は？

- 観測者：公開済みの fly 視覚系モデル（connectome-constrained、721-column retina、optic-flow estimation のみ学習）。 - 刺激：MPI-Sintel の実フレームと、3種の small world model（persistence random walk, MDN-RNN, RSSM）を3温度で動かした継続生成。 - 特徴：cell-type 応答の時間統計。分類器は classifier two-sample test、sequence-level cross-validation で評価。 - graded probe：各窓の実フレームの順序のみを崩し（隣接ペア交換）、交換数に対する検出曲線を測る。 - detection horizon：生成フレーム先頭 k 枚での検出性能を測り world model 間を順序付け。

4. どうやって有効だと検証した？

- 学習済み観測者で9種の夢すべてが現実と分離（AUC 0.85-0.99、50個の学習済みモデル平均）。 - 学習前は分離が弱く（学習済み world model で 0.58-0.75、paired difference 0.20-0.37）。 - 未見シーケンスでも同等に分離し、分離順序は pixel error と無関係。 - graded probe：14フレーム中1隣接ペア交換で学習済み 0.73、学習前 0.54、pixel statistics 0.56。学習済みは7フレーム中1.1交換で0.75、pixel statistics は4.7、未学習は到達せず。 - detection horizon が full-length AUC 飽和時に world model を順序付け。

5. 議論はある？

- AUC が天井付近に達するため、full-length AUC だけでは world model 間の差を論じにくく、graded probe と detection horizon で補う必要がある。 - 分離順序が pixel error と無関係であることは、単純な画素誤差では捉えられない「夢の欠陥」をモデル応答が反映する可能性を示す。 - 学習前でも一部分離（0.58-0.75）があり、学習による上昇分とアーキテクチャ由来の寄与の切り分けは要旨からは不明。 - 単一タスク・単一観測者・限られた world model 群での結果であり、一般性や他種 connectome への拡張は要旨からは不明。

6. 次に読むべき論文は？

- 観測者として用いられた公開済み fly 視覚系 connectome-constrained モデル（optic-flow estimation 学習）の原論文。 - 比較対象の world model：MDN-RNN、RSSM、persistence random walk。 - 刺激データセット：MPI-Sintel。 - 評価手法：classifier two-sample test（C2ST）および sequence-level cross-validation の関連文献。 - 関連する定番として world model 全般（例：Ha & Schmidhuber の World Models）や neural response の線形読み出し（linear probing）研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Junichiro Niimi

分類: cs.LG, q-bio.NC

原文アブストラクト

Zhuangzi dreamt he was a butterfly and, on waking, could not tell which was the dream. We ask a version of his question of a model of the fly brain: placed inside a world generated by a world model, can a fixed brain tell that the world is a dream? We treat it as a question about what a connectome-constrained model trained on one task makes available beyond that task: do its responses make the defects of a dream linearly decodable? The observer is a published model of the fly visual system trained only for optic-flow estimation; reality is the MPI-Sintel movie on the model's 721-column retina; dreams are continuations of five real frames by three small world models (a persistence random walk, an MDN-RNN and an RSSM) at three temperatures. The judge is a classifier two-sample test on temporal statistics of cell-type responses, with sequence-level cross-validation. In the trained observer's responses all nine dreams are separable from reality (AUC 0.85-0.99, mean over 50 trained models), in those of the same network before training much less so (0.58-0.75 for the learned world models; paired difference 0.20-0.37), equally on sequences the observer never saw, and in an order unrelated to pixel error. Because these AUCs are near ceiling, we add graded probes made of each window's own real frames with only their order broken. Swapping one adjacent pair of the 14 generated frames gives 0.73 on the trained responses against 0.54 before training and 0.56 for pixel statistics; the trained curve reaches 0.75 at 1.1 swapped pairs of seven, the pixel statistics at 4.7, and the untrained network not at all. A detection horizon, the test on the first k generated frames, orders the world models where the full-length AUC saturates.

arXivで原文を読む →arXiv概要ページ

← 論文一覧