日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ワールドモデル計画/ハードウェア協調設計arXiv:2611.22483

計画とハードウェアの協調設計による差分スパース性を活用した効率的なワールドモデル計画

Manufacturing Differential Sparsity: Planner-Hardware Co-Design for Efficient World Model Planning

シェア:XThreadsFacebookLINEはてブBluesky

JEPA型潜在ワールドモデルのMPC計画を高速化するため、計画器が生成する差分ビットスパース性を活用するハードウェア協調設計を提案し、密なアクセラレータより1.28〜1.80倍高速で38〜52%省エネを実現した。

詳しい要約

1. どんなもの?

- JEPA-style latent world model を用いた embodied agent の planning を高速化する、planner と accelerator の co-design 研究。 - sampling-based MPC が predictor inference を大量に繰り返すため遅い問題に対し、quantized predictor 内に現れる differential bit-level sparsity を利用する。 - planner 側で sparsity を『製造』し、それを bit-exact hardware が活用する統合設計。

2. 先行研究と比べてどこがすごい?

- 従来の bit-level sparsity accelerator の知見を土台にしつつ、planner が自ら参照を選び sparsity を増やせる点が新しい。 - dense accelerator 比で 1.28-1.80x 高速・38-52% 省エネ、prior bit-sparse design 比で 1.22-1.58x 高速・16-36% 省エネ(同一面積)。 - 著者らの知る限り、候補間で differential bit-level sparsity を製造し構造を hardware scheduling に晒す最初の planner、かつ JEPA-style world-model planning 初の algorithm-hardware co-design。

3. 技術・手法の肝は?

- latent locality(近い action は近い latent に写る)に着目し、quantized predictor 内で differential bit-level sparsity として現れることを利用。 - reference forest sampling を導入し、各グループの sampled action sequence を共有 root に結合して sparsity を製造、planning 品質は競合的。 - planner が sparsity を増やし hardware scheduling 用の構造を露出し、bit-exact hardware がその sparsity を実効的に使う密結合 co-design。

4. どうやって有効だと検証した?

- 3 つの JEPA world model 上で評価。 - dense accelerator と prior bit-sparse design に対し速度・energy・面積を比較。 - 具体的な精度指標やベンチマーク詳細は要旨からは不明。

5. 議論はある?

- reference forest sampling が competitive planning quality を保つと述べるが、品質劣化の限界や感度は要旨からは不明。 - 対象は quantized predictor の bit-level sparsity に依存し、他モデルへの一般性は要旨からは不明。 - 面積同一での比較を主張するが、実装・製造コストの議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている prior bit-sparse design および bit-level sparsity accelerator の系譜。 - JEPA-style latent world model と model predictive control の関連研究。 - sampling-based MPC の planning 効率化研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Wenbo Zhu, Paul Yi-Chia Chen, Yuanhan Li, Zishen Wan, Christopher Torng

分類: cs.AR, cs.AI, cs.LG, cs.RO, eess.SY

原文アブストラクト

JEPA-style latent world models let embodied agents plan toward new goals with model predictive control, but they are still too slow for real-life embodied control: sampling-based MPC repeats predictor inference tens of thousands of times per plan, and even on high-end GPUs one planning step can take tens of seconds. We observe substantial latent locality in this repeated-inference workload: the predictor maps close actions to close latents, and inside a quantized predictor this closeness takes a form that hardware can exploit, differential bit-level sparsity. Unlike an input stream, whose temporal similarity is given, a planner itself decides which candidates it evaluates together, so the planner can choose its own references and, with reference forest sampling, manufacture more sparsity: it couples the sampled action sequences of each group to a shared root, with competitive planning quality. We build the accelerator on the insights of the rich line of bit-level sparsity accelerators and design it and the planner tightly coupled as a single co-design: the planner increases sparsity and exposes structure for hardware scheduling, and the bit-exact hardware effectively uses the sparsity that the planner creates. On three JEPA world models, our co-design is 1.28-1.80x faster than a dense accelerator and uses 38-52% less energy, and it is 1.22-1.58x faster than prior bit-sparse design and uses 16-36% less energy, with the same area. To our knowledge, our planner is the first planner that manufactures differential bit-level sparsity across its candidates and exposes its structure for hardware scheduling, and our co-design is the first algorithm-hardware co-design for JEPA-style world-model planning.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  4. 4SoftBank主導、Agile Robotsが5億ドル調達 NVIDIAと日立も参加資金調達
  5. 5NTT、ロボットの行動前に荷崩れを予測研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI