日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ワールドモデルarXiv:2611.25610

内容適応型空間アドレッシングによる階層的時空間ワールドモデリング

Hierarchical Spatiotemporal World Modeling with Content-Adaptive Spatial Addressing

シェア:XThreadsFacebookLINEはてブBluesky

海馬と嗅内皮質の仕組みに着想を得て、局所時間RoPEと多周期空間RoPEを階層的に組み合わせた固定容量メモリのワールドモデルHiSTFormerを提案し、長期的な予測horizonへの汎化性能を向上させた。

詳しい要約

1. どんなもの?

- 部分的観測環境での long-horizon world modeling のための階層型時空間 world model「HiSTFormer」を提案する研究。 - 海馬の episodic memory・spatial memory と entorhinal grid cells の multi-periodic coding に着想を得た設計。 - 固定容量 memory により、系列長が伸びても KV storage と per-step attention cost を有界に保つ。 - MemoryMaze と HM3D で評価。

2. 先行研究と比べてどこがすごい?

- 強い world-model baselines に対し、training sequence length 内で優位。 - 訓練時に見た予測 horizon を大きく超える horizon への汎化が大幅に向上。 - コンパクトなモデルでこれを達成。 - 深い Transformer stack でも階層的時空間設計の有効性が持続し、depth 増加に伴い一貫した利得。 - 具体的な baseline 名は要旨からは不明。

3. 技術・手法の肝は?

- local temporal RoPE と multi-periodic spatial RoPE を層ごとに配置する layer-wise organization。 - content-conditioned address offsets(内容適応型の空間アドレッシング)を併用。 - これにより直近の temporal context と長距離 spatial structure を捕捉。 - 固定容量 memory で KV storage と per-step attention cost を系列長に対し有界化。 - 詳細な architecture 構成は要旨からは不明。

4. どうやって有効だと検証した?

- MemoryMaze と HM3D の2環境で評価。 - training sequence length 内で strong world-model baselines と比較し優位を確認。 - 訓練時の horizon を大きく超えた予測 horizon への汎化を検証。 - Transformer stack の depth を変えた際の効果も検証し、depth 増加で一貫した利得を報告。 - 評価指標の詳細は要旨からは不明。

5. 議論はある?

- 階層的時空間 organization と content-adaptive spatial addressing が効率的 long-horizon world modeling の有効な inductive biases であると結論。 - 固定容量 memory による計算・記憶コストの有界性を主張。 - 限界・失敗事例・計算コストの定量比較・ablation の詳細は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている strong world-model baselines(個別名は要旨からは不明)。 - 着想元である hippocampal episodic/spatial memory と entorhinal grid cells の multi-periodic coding に関する神経科学的研究。 - RoPE(Rotary Position Embedding)関連研究。 - Transformer ベースの world model の代表的手法(一般名として Dreamer 系など)。 - MemoryMaze・HM3D を用いた関連ベンチマーク研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Tiantian Li, Junfeng Lu, Yifei Wang, Zhaoyang Zhang, Lei Wang, Tianyi Qian

分類: cs.NE, cs.LG

原文アブストラクト

Long-horizon world modeling in partially observable environments requires compact memories that preserve spatial structure despite accumulated localization drift. Inspired by hippocampal episodic and spatial memory and the multi-periodic coding of entorhinal grid cells, we propose HiSTFormer, a hierarchical spatiotemporal world model, which adopts a layer-wise organization of local temporal RoPE and multi-periodic spatial RoPE, together with content-conditioned address offsets, to capture recent temporal context and long-range spatial structure. A fixed-capacity memory keeps KV storage and per-step attention cost bounded as the sequence grows. On MemoryMaze and HM3D, HiSTFormer outperforms strong world-model baselines within the training sequence length and generalizes substantially better to prediction horizons far beyond those seen during training, while using a compact model. The hierarchical spatiotemporal design remains effective across deeper Transformer stacks, with consistent gains as depth increases. These results show that hierarchical spatiotemporal organization and content-adaptive spatial addressing provide effective inductive biases for efficient long-horizon world modeling.

関連論文

  1. 1パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  2. 2川崎重工業のロボット外販を報道新製品・発表
  3. 3Boston Dynamics、GlobalFoundriesでAtlasを試験へ 半導体製造で2027年初頭から半導体・GPU
  4. 4丸文、RealManのロボットアームやヒューマノイドを国内販売提携・買収
  5. 5NVIDIA、SC26で科学研究向けAIエージェントとHPC基盤を発表新製品・発表

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI