因為公眾號平臺更改了推送規則。記得點右下角的大拇指“贊”和紅心“推薦”。這樣每次新文章推送，就會第一時間出現在訂閱號列表里。
為什么內存層次在AI加速器中至關重要
現代AI加速器的瓶頸不再在于計算能力，而在于數據傳輸。你可以設計出具備千萬億次浮點運算能力的GPU，也可以將數千個張量核心集成在單個芯片上。但如果這些核心無法快速獲取數據，它們就會處于空閑狀態。
閑置的計算資源就是浪費硅芯片。計算吞吐量與內存帶寬之間的這種失衡，是現代AI硬件面臨的根本性挑戰。這通常被稱為AI內存瓶頸，即FLOPS的增長速度超過了內存系統向其提供數據的能力。
下面來探討一下為何存在層次結構。
FLOPS 與帶寬失衡
FLOPS 用于衡量計算能力，帶寬用于衡量數據傳輸能力。
在現代AI GPU 中：
計算量呈指數級增長。
內存延遲緩慢提升。
帶寬在結構上可擴展（通過HBM）。
如果計算量翻倍但內存帶寬未增加，利用率就會下降。張量核心會因等待操作數而陷入停滯。這就是計算饑餓。
現代GPU的延遲等級
并非所有內存都有同樣的性能。
寄存器以單字節納秒級運行。
L1緩存稍慢。
L2緩存更慢。
HBM容量大得多，但比SRAM慢。
每一層的存在，是因為物理法則阻止了單一內存類型同時滿足：
極速
超大
超高能效
設計師將內存層層疊加，形成層級結構。
張量流式行為
AI訓練并非隨機內存訪問，而是結構化的張量流式處理。
權重以塊的形式移動。
激活值逐層流動。
梯度向后傳播。
這種結構化流程受益于：
數據局部性
緩存內的復用
從HBM進行高帶寬預取
如果沒有層次結構，每次張量獲取都會直接訪問大容量的片外內存，從而影響性能。
計算饑餓問題
想象一家擁有世界級廚師的餐廳廚房，但只有一名服務員負責運送食材。
這就像一塊沒有層級結構的GPU。
內存層次結構通過以下方式解決這個問題：
將常用數據保留在計算設備附近
利用大帶寬資源進行批量傳輸
盡量減少昂貴的長途數據傳輸
層級結構并非是選擇性的。這是總體結構上必需的。
AI內存層次結構概述
在深入之前，先從整體上來看一下整個結構。
AI加速器的內存并非扁平，而是呈金字塔結構分層排列。距離計算單元越近，內存速度越快；物理位置越遠，內存容量越大，但延遲也越高。
以下是簡化的層級模型：
頂部（最快、最小、最接近計算）
寄存器
共享內存
L1 緩存
L2 緩存
底部（最大容量、最高帶寬、片外）
HBM
每一層都有其特定的功能。
寄存器（最快、最小）
寄存器直接位于張量核心或CUDA核心內部，用于存儲正在計算的運算操作數。訪問延遲極低，通常僅為幾個時鐘周期。
但容量呢？非常小。
我們討論的是每核的千字節。寄存器僅用于直接的算術運算，僅此而已。
共享內存
共享內存是片上SRAM，可使同一塊中的線程高效地重復使用數據，從而顯著減少對更高層級內存的冗余訪問。
共享內存在GPU編程模型中對程序員是可見的。
L1 緩存
L1 緩存會自動將最近訪問的數據存儲在計算單元附近。它提高了時間局部性，即如果數據最近被訪問過，那么它很可能再次被訪問。
延遲非常低。但是容量有限。
L2緩存
L2緩存容量更大，且在流式多處理器之間共享。它作為片上SRAM與片外HBM之間的緩沖器。
它顯著減少了HBM數據傳輸負載。
HBM（高帶寬）
HBM位于芯片外但封裝在芯片上，提供每秒數TB的帶寬。其速度雖低于SRAM，但容量更大。
它是以下內容的批量存儲層：
模型參數
激活函數
梯度
這種層次結構的存在是因為物理上無法構建100 GB的寄存器內存。權衡取舍定義了架構。
片上內存（基于SRAM的架構）
所有高于HBM的內容均采用SRAM構建。
SRAM 是：
速度極快
低延時
每次訪問都非常耗電
硅片面積成本非常高
這就是為什么SRAM容量有限。
張量核中的寄存器
寄存器用于存儲張量核內部矩陣乘法的運算數。在AI訓練過程中，寄存器是算術運算前的最終暫存區域。
延遲：約1–2個時鐘周期
容量：極小
它們并非用于存儲，而是用于執行。
共享內存塊
共享內存允許多個線程之間進行協作式的數據共享。
示例：
如果多個線程需要相同的權重塊，可以避免多次從HBM中獲取：
一次性將數據復制到共享內存
所有線程均可復用
這減少了：
HBM帶寬壓力
功耗
延遲
在許多AI內核中，共享內存是顯式管理的。
L1緩存的作用
L1緩存用于存儲最近使用的指令和數據。
其目標是：
臨時局部性捕獲
減少對L2的重復訪問
延遲：極低
大小：大于寄存器，小于L2
現代GPU中的L2緩存
L2緩存作為計算單元之間的共享緩沖區。現代AI GPU通常配備多兆字節的L2緩存，有時可達數十兆字節。
減少HBM流量
緩沖張量塊
提高帶寬效率
如果沒有L2緩存，每次數據復用都會影響HBM，導致外置帶寬被占滿。
SRAM各級延遲差異
寄存器< 共享內存< L1 < L2 < HBM
每次向下都會略微增加訪問時間。但向上移動會大幅增加面積成本。
優化數據復用
AI工作負載非常適合緩存層次結構，因為：
矩陣運算重用塊
卷積層重用核
Transformer attention層重用查詢/鍵/值矩陣
內存層次結構利用了這種重用。
沒有它，即使HBM的多TB帶寬也遠遠不夠。
片外高帶寬內存（HBM 層）
現在來到層次結構的最底層。HBM 并非集成在芯片上的SRAM，而是堆疊式DRAM，位于封裝內部。
為什么是外部？
因為如果使用SRAM，要實現數百GB 的容量將變得經濟上不可行。HBM 在大規模應用中同時解決了容量和帶寬的問題。
3D堆疊DRAM芯片
TSV垂直互連
1024位寬接口
硅基插件
該架構可實現：現代GPU的3–5 TB/s帶寬
HBM 存儲：
完整模型權重
層激活值
優化器狀態
梯度
但HBM比SRAM慢。
所以數據向上流動：HBM→L2 →L1 →寄存器
這種布局可避免頻繁昂貴的片外訪問。HBM是大容量存儲器，SRAM是執行內存。
AI訓練過程中的數據流動
現在，來看看當訓練一個LLM時，實際會發生什么。暫且拋開理論，想象一下Transformer層的前向傳播過程：數十億個參數存儲在HBM中，張量核心正等待進行矩陣乘法運算。那么數據是如何物理移動的呢？
基于NVIDIA Hopper架構的現代GPU實現了先進的內存層次結構，將寄存器、共享內存、L2緩存和HBM緊密集成，以實現最大化張量的吞吐量。
以下是數據在內存中的移動路徑：
步驟1：存儲在HBM中的參數
所有模型權重通常有數十甚至數百GB，都存放在HBM中。這是主要的存儲層。HBM提供巨大的帶寬（3–5 TB/s），但仍然比片上SRAM慢。因此數據不會永久保留在寄存器中，必須分階段傳輸。
步驟2：HBM → L2緩存
當某一層開始執行時，所需的張量塊會從HBM加載到L2緩存中。L2緩存作為大容量緩沖區發揮作用。
為什么不直接去L1呢？
由于L2在計算單元之間共享，有助于減少重復的HBM數據讀取。當多流多處理器需要相同的數據時，L2可作為數據重用的中心。
步驟3：L2→L1緩存
從L2中將較小的數據塊加載到L1緩存。L1更靠近計算單元，專為降低延遲而優化。
此階段可提升：
時間局部性
指令重用
數據塊效率
步驟4：L1 → 寄存器
現在進入執行階段。寄存器存儲張量核心直接使用的操作數，矩陣乘加運算就在此進行。此處的延遲極低，僅有幾個時鐘周期。
步驟5：執行計算
張量核心執行：
矩陣乘法
累加
激活函數應用
所有操作數均使用寄存器。
步驟6：回寫周期
計算完成后：
部分和可能返回寄存器
最終輸出傳回L1
然后傳至L2
最終寫回HBM
此循環逐層重復進行。
張量流式循環
訓練期間：
前向傳播→ 存儲激活值
反向傳播→ 計算梯度
優化步驟→ 更新權重
每個階段都需要在不同層級之間進行大量數據傳輸。如果沒有層次結構，每次讀寫操作都將直接訪問HBM，導致帶寬急劇下降。整個流程的設計目的正是為了盡量減少昂貴的長距離數據傳輸。
不同內存層級的延遲與帶寬對比
現在將各層級進行并列比較。
內存類型 | 延遲 | 帶寬 | 容量 |
寄存器 | 最低 | 高（本地） | 非常小 |
L1緩存 | 極低 | 高 | 小 |
L2緩存 | 低 | 中等–高 | 中等 |
HBM | 較高 | 極高 | 大 |
注意一些有趣的現象：HBM的延遲高于SRAM，但總體帶寬卻高出很多。
這就是為什么存在分級結構。
如果都是寄存器：
延遲 = 極其驚人
容量 = 不可能
成本 = 災難性
如果一切都是HBM：
容量 = 很好
帶寬 = 強大
延遲 = 執行速度太慢
因此，設計師會將兩者結合起來。
層次結構平衡：
速度
尺寸
能耗
成本
這不是設計上的選擇，而是物理上的必然。
LLM中的記憶層次優化
LLM會放大存儲設計中的任何低效之處。讓我們來看看如何針對LLM進行層次結構的優化。
參數流式傳輸
在訓練過程中，模型參數會逐層從HBM流式傳輸到緩存中。
高效的調度確保：
最大緩存復用
最小冗余讀取
可預測的內存訪問模式
這能保持HBM處于飽和狀態，而不會過載。
梯度累積
梯度在寄存器和共享內存中累積，然后再寫回HBM。
這可以減少：
寫入放大
能耗
帶寬壓力
不再重復寫入部分梯度，而是先在本地進行合并。
激活檢查點
為了減少內存占用，部分激活值會被重新計算而非存儲。這是一種計算與內存的權衡取舍。
層次結構使得這種策略成為可能，因為：
重新計算的值可以保留在SRAM中
僅將必要數據寫入HBM
數據局部性優化
AI內核的設計旨在：
平鋪矩陣
重復使用緩存塊
將熱數據保留在L1/L2緩存中
目標很簡單：
減少對HBM的訪問次數。盡管HBM擁有巨大的帶寬，但每次訪問仍比SRAM消耗更多的能量。
不同內存層級的能效
這里有一個被大多數人低估的事實：數據傳輸通常比算術運算消耗更多的能量。
是的。移動數據比復制數據更貴。
SRAM 每次訪問的功耗
SRAM（寄存器、緩存）：
極低延遲
每次訪問能耗極低
面積成本極高
訪問寄存器極為高效。
HBM每比特功耗
HBM在每瓦帶寬方面經過優化，但：
片外信號傳輸消耗更多能量
TSV雖然縮短了走線距離，但其成本仍高于片上訪問
因此，減少HBM數據流至關重要。大規模AI集群在數據在不同內存層級之間傳輸時，會消耗巨大的能量。
數據流主導功耗
在大型AI訓練任務中：
計算功耗 = 顯著
數據傳輸功耗 = 主要因素
數據傳輸距離越遠，成本越高。
內存層次結構的存在旨在縮短這一距離。
寄存器→ 成本最低
HBM→ 成本較高
如今，節能調度與計算優化同等重要。
AI內存層次的未來
隨著AI的發展，內存層次也在不斷演進。
封裝內SRAM擴展
設計師正在增加：
L2緩存大小
片上緩沖區容量
共享內存的可配置性
增加SRAM可減少對HBM的依賴，但SRAM面積成本較高。因此，仍需進行權衡取舍。
混合鍵合
混合鍵合可降低互連電阻，并提高芯片之間的密度。
這可能會實現：
內存與計算的更緊密集成
片外訪問延遲更低
每瓦更高帶寬
HBM的發展在很大程度上依賴于封裝技術的創新。
計算與內存集成
未來的加速器可能會模糊以下界限：
計算
內存
內存中計算架構可大幅減少數據傳輸。無需將張量移動到計算單元，計算邏輯可以更接近內存數組。
邁向以內存為中心的AI架構
歷史上，系統以計算為中心。如今，它們正逐漸轉向以內存為中心。因為若在不擴展內存層次的情況下增加計算能力，就會重演“內存墻”問題，這正是AI內存瓶頸討論中所詳述的限制。
AI硬件的未來不會由能夠構建多少FLOPS決定。而是由如何高效地傳輸數據決定。
內存層次結構已不再是背景基礎設施，而是AI加速的核心設計挑戰。
常見問題
為什么AI加速器使用多層內存而不是單一的大容量內存？
AI加速器采用分層內存架構，是因為單一類型的內存無法同時實現超低延遲、大容量、高帶寬和高能效。寄存器和SRAM緩存可為活躍計算提供快速訪問，而HBM則提供大容量、高帶寬的存儲空間。這種分層設計可避免計算資源饑餓，并優化整體性能。
AI GPU中SRAM與HBM有何區別？
SRAM（用于寄存器和緩存）速度極快、延遲低，但容量有限且占用硅片面積較大。HBM容量更大，提供高達3–5 TB/s的帶寬，但相比SRAM延遲更高。SRAM用于處理即時執行的數據，而HBM則存儲大量模型參數和激活值。
在AI模型訓練過程中，數據是如何流動的？
在AI訓練期間，數據通常從HBM流向L2緩存，再進入L1緩存，存儲到寄存器中進行張量計算，最后返回HBM進行存儲。這種分階段的數據流動方式可最大限度減少昂貴的外存訪問，并確保GPU的高利用率。
如果AI加速器的內存帶寬不足會發生什么？
當內存帶寬無法跟上計算吞吐量時，張量核心會因等待數據而卡住。這被稱為內存瓶頸問題。帶寬不足會顯著降低FLOPS利用率，并大幅增加訓練時間。
為什么HBM被放置在芯片外而非芯片內？
HBM被放置在芯片外，是因為將數百GB的SRAM直接集成到芯片上在物理上不現實，且在經濟上不可行。HBM采用3D堆疊DRAM架構，在保持與GPU通過硅基中間層接近的同時，提供大容量和高帶寬。
結論
AI加速器不僅僅是龐大的計算引擎；它們是精心設計的分層內存系統，旨在避免資源饑餓。寄存器執行運算，緩存進行緩沖，HBM則以高度協調的層級結構為系統提供數據。在AI訓練過程中，數據會持續地從HBM流向L2，再流向L1，進入寄存器進行計算，最終返回HBM進行存儲。
每一層的存在，是因為沒有任何一種單一的存儲技術能夠同時實現超低延遲、大容量、極高帶寬和完美的能效。存儲層次通過將頻繁訪問的數據保留在計算附近，同時使用高帶寬存儲器進行大規模數據存儲，來平衡這些權衡關系。
隨著模型參數從數十億到數萬億級別，層次結構的重要性變得更加關鍵。能效經濟、延遲優化和帶寬擴展最終匯聚為一個架構現實：AI的性能不僅受限于計算能力，更取決于內存的智能組織方式。在現代加速器中，內存層次結構是實現AI可擴展性的真正支柱。
原文鏈接：
https://dailytechinsights.com/ai-accelerator-memory-hierarchy-hbm-sram-cache/
高端微信群介紹 | |
創業投資群 | AI、IOT、芯片創始人、投資人、分析師、券商 |
閃存群 | 覆蓋5000多位全球華人閃存、存儲芯片精英 |
云計算群 | 全閃存、軟件定義存儲SDS、超融合等公有云和私有云討論 |
AI芯片群 | 討論AI芯片和GPU、FPGA、CPU異構計算 |
5G群 | 物聯網、5G芯片討論 |
第三代半導體群 | 氮化鎵、碳化硅等化合物半導體討論 |
存儲芯片群 | DRAM、NAND、3D XPoint等各類存儲介質和主控討論 |
汽車電子群 | MCU、電源、傳感器等汽車電子討論 |
光電器件群 | 光通信、激光器、ToF、AR、VCSEL等光電器件討論 |
渠道群 | 存儲和芯片產品報價、行情、渠道、供應鏈 |
< 長按識別二維碼添加好友 >
加入上述群聊
帶你走進萬物存儲、萬物智能、
萬物互聯信息革命新時代
