日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ハードウェアアクセラレーションarXiv:2611.18422

状態はボトルネックではない:トライモードマルチキャストメッシュ上のページ状態Gated-DeltaNetタイル、RTLからシリコンまでビット完全一致

The State Is Not the Bottleneck: A Paged-State Gated-DeltaNet Tile on a Tri-Mode Multicast Mesh, Bit-Exact from RTL to Silicon

シェア:XThreadsFacebookLINEはてブBluesky

エッジFPGA上でGated DeltaNetの再帰状態を外部メモリにページングするハードウェアタイルを実装し、状態ページングのコストは全体の11%以下で、重みの供給が性能を律速することを示した。

詳しい要約

1. どんなもの?

- 369-million-parameter の hybrid Gated DeltaNet モデルの 1 層分を計算する hardware tile を Agilex 5 FPGA 上に実装した研究。 - 固定サイズの recurrent state を外部メモリへ paging する構成で、state は 6.2 MiB 必要だが on-chip block memory は 0.87 MiB しかない。 - tile は tri-mode processing elements からなる multicast mesh の 1 ノードとして位置づけられる。

2. 先行研究と比べてどこがすごい?

- 先行研究との具体的比較は要旨からは不明。 - linear-attention モデルで state を外部メモリへ paging した際に、paging が decoding コストを支配するかを定量化した点が主張の中心。 - 結論として paging は最大 11.2 percent に留まり、state ではなく weight 供給が律速だと示した。

3. 技術・手法の肝は?

- recurrent state を外部メモリへ paging する hardware tile を構築し、1 層分の計算を実行。 - 固定小数点演算を用い、浮動小数点との誤差測定および固定小数点 reference との bit-exact 一致を確認。 - tri-mode processing elements の multicast mesh の 1 ノードとして構成。 - 75 MHz で動作し、synthetic weights を使用。

4. どうやって有効だと検証した?

- 固定小数点演算の誤差を浮動小数点と比較して測定。 - hardware が固定小数点 reference と bit for bit 一致することを確認。 - simulation で state logic が全 18 recurrent layers で reference と一致。 - board 上で 6 builds が 30 runs of 64 tokens と 2 runs of 1,024 tokens をすべて通過。

5. 議論はある?

- paging は 1 decoded token あたり 26.0 MB のメモリトラフィックを追加するが、計算上の総量の最大 11.2 percent に過ぎない。 - 75 MHz で 1 token は 11.15 ms、うち weight との matrix-vector products が約 62 percent、paging を含む state phase が 13 percent。 - このモデルとメモリインターフェースでは weight の供給が decoding 性能を制限し、recurrent state は律速しない。 - よって edge FPGA 上で state paging は実用的と結論。

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は不明。 - 関連手法として Gated DeltaNet、linear-attention、multicast mesh、tri-mode processing elements が挙げられる。 - 同分野の定番として FPGA 上の transformer/linear-attention 推論アクセラレータや KV-cache/state 圧縮の研究を次に読む候補とする。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Cong Xu, Ravi Sankar

分類: cs.RO, cs.AR, cs.LG

原文アブストラクト

Linear-attention language models replace a growing key-value cache with a recurrent state of fixed size. On an edge FPGA, this state can exceed the on-chip memory and must be paged to external memory. This paper asks whether such paging dominates the cost of decoding (generating tokens). We built a hardware tile that computes one complete layer of a custom 369-million-parameter hybrid Gated DeltaNet model on an Agilex 5 FPGA and pages its recurrent state. The model state needs 6.2 MiB, whereas the device has 0.87 MiB of block memory. Paging adds 26.0 MB of memory traffic per decoded token, at most 11.2 percent of the calculated total. On the board at 75 MHz, with synthetic weights, one token takes 11.15 ms in this layer. The matrix-vector products with the weights take about 62 percent of this time and the state phase, including the paging, 13 percent. The tile is one node of a multicast mesh of tri-mode processing elements. We measure the error of the fixed-point arithmetic against floating point and check that the hardware agrees bit for bit with a fixed-point reference. In simulation, the state logic agrees with the reference on all 18 recurrent layers. On the board, six builds pass all 30 runs of 64 tokens and two runs of 1,024 tokens. For this model and memory interface, the delivery of the weights limits the decoding performance, and the recurrent state does not. State paging is therefore practical for such a model on an edge FPGA.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3Google DeepMind、ロボット向けAIを発表新製品・発表
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI