突破計算機性能瓶頸的利器CPUCache

本文目錄：

• 1、計算機性能的瓶頸

• 2、緩存及其發展歷史

• 3、緩存如何彌補CPU與內存的性能差異？

• 4、尾語

  
  

今天我們來介紹計算機的儲存器之一，CPU高速緩沖存儲器也叫高速緩存，CPU Cache。

緩存這個專業術語，在計算機世界中是經常使用到的。它并不是CPU所獨有的，比如cdn緩存網站信息，瀏覽器緩存網頁的圖像視頻等，但本文講述的是狹義Cache，主要指的是CPU Cache，本文將其簡稱為“緩存”或者“Cache”。

1、計算機性能的瓶頸

在馮諾依曼架構下，計算機存儲器是分層次的，存儲器的層次結構如下圖所示，是一個金字塔形狀的東西。從上到下依次是寄存器、緩存、主存（內存）、硬盤等等。

離CPU越近的存儲器，訪問速度越來越快，容量越來越小，每字節的成本也越來越昂貴。

比如一個主頻為3.0GHZ的CPU，寄存器的速度最快，可以在1個時鐘周期內訪問，一個時鐘周期（CPU中基本時間單位）大約是0.3納秒，內存訪問大約需要120納秒，固態硬盤訪問大約需要50-150微秒，機械硬盤訪問大約需要1-10毫秒，最后網絡訪問最慢，得幾十毫秒左右。

這個大家可能對時間不怎么直觀，那如果我們把一個時鐘周期如果按1秒算的話，那寄存器訪問大約是1s，內存訪問大約就是6分鐘 ，固態硬盤大約是2-6天 ，傳統硬盤大約是1-12個月，網絡訪問就得幾年了！我們可以發現CPU的速度和內存等存儲器的速度，完全不是一個量級上的。

電子計算機剛出來的時候，其實CPU是沒有緩存Cache的，那個時候的CPU主頻很低，甚至沒有內存高，CPU都是直接讀寫內存的。

隨著時代的發展，技術的革新，從1980年代開始，差距開始迅速擴大，CPU的速度遠遠超過內存的速度，在馮諾依曼架構下，CPU訪問內存的速度也就成了計算機性能的瓶頸！！！

DRAM為內存顆粒，也叫動態隨機存取存儲器， 圖片來源于：How L1 and L2 CPU Caches Work, and Why They're an Essential Part of Modern Chips。

為了彌補CPU與內存兩者之間的性能差異，也就是要加快CPU訪問內存的速度，就引入了緩存CPU Cache，緩存的速度僅次于寄存器，充當了CPU與內存之間的中間角色。

2、緩存及其發展歷史

緩存CPU Cache用的是 SRAM（Static Random-Access Memory）的芯片，也叫靜態隨機存儲器。其只要有電，數據就可以保持存在，而一旦斷電，數據就會丟失。

回顧Cache發展歷史，我們可以發現Cache其實一開始并不是在CPU的內部，我們這里以Intel系列為例。

在80286之前，那個時候是沒有緩存Cache的，那個時候的CPU主頻很低，甚至沒有內存高，CPU都是直接讀寫內存的。

從80386開始，這個CPU速度和內存速度不匹配問題已經開始展露，并且差距開始迅速擴大，慢速度的內存成為了計算機的瓶頸，無法充分發揮CPU的性能，為解決這個問題，Intel主板支持外部Cache，來配合80386運行。

80486將L1 Cache(大小8KB)放到CPU內部，同時支持外接Cache，即L2 Cache（大小從128KB到256KB），但是不分指令和數據Cache。

雖然L1 Cache大小只有8KB，但其實對那時候CPU來說夠用了，我們來看一副緩存命中率與L1、L2大小的關系圖：

圖片來源于：How L1 and L2 CPU Caches Work, and Why They're an Essential Part of Modern Chips

從上圖我們可以發現，增大L1 cache對于CPU來說好處不太明顯，緩存命中率并沒有顯著提升，成本還會更昂高，所以性價比不高。

而隨著 L2 cache 大小的增加，緩存總命中率會急劇上升，因此容量更大、速度較慢、更便宜的L2成為了更好的選擇。

等到Pentium-1/80586，也就是我們熟悉的奔騰系列，由于Pentium采用了雙路執行的超標量結構，有2條并行整數流水線，需要對數據和指令進行雙重的訪問，為了使得這些訪問互不干涉，于是L1 Cache被一分為二，分為指令Cache和數據Cache（大小都是8K），此時的L2 Cache還是在主板上，再后來Intel推出了Pentium Pro/80686，為了進一步提高性能L2 Cache被正式放到CPU內部。

后來CPU多核時代來臨，Intel的Pentium D、Pentium EE系列，CPU內部每個核心都有自己的L1、L2 Cache，但他們并不共享，只能依靠總線來傳遞同步緩存數據。最后Core Duo酷睿系列的出現，L2 Cache變成多核共享模式，采用Intel的“Smart cache”共享緩存技術，到此為止，就確定了現代緩存的基本模式。

如今CPU Cache 通常分為大小不等的3級緩存，分別是 L1 Cache、L2 Cache 和 L3 Cache，L3 高速緩存為多個 CPU 核心共用的，而L2則被每個核心單獨占據。另外，現在有的CPU已經有了L4 Cache，未來可能會更多。

3、緩存如何彌補CPU與內存的性能差異？

我們可以思考一個問題：緩存是如何彌補CPU與內存兩者之間的性能差異？

緩存主要是利用局部性原理，來提升計算機的整體性能。因為緩存的性能僅次于寄存器，而CPU與內存兩者之間的產生的分歧，主要是二者存取速度數量級的差距，那盡可能多地讓CPU去存取緩存，同時減少CPU直接訪問主存的次數，這樣計算機的性能就自然而然地得到巨大的提升。

所謂局部性原理，主要分為空間局部性與時間局部性：

1. 時間局部性：被引用過一次的存儲器位置在未來會被多次引用（通常在循環中）。
2. 空間局部性：如果一個存儲器的位置被引用，那么將來他附近的位置也會被引用

緩存這里，會去把CPU最近訪問主存(內存)中的指令和數據，臨時儲存著，因為根據局部性原理，這些指令和數據在較短的時間間隔內很可能會被以后多次使用到，其次是當從主存中取回這些數據時，會同時取回與其位置相鄰的主存單元的存放的數據 臨時儲存到緩存中，因為該指令和數據附近的內存區域，在較短的時間間隔內也可能會被多次訪問。

那以后CPU去訪問這些指令和數據時，首先去命中L1 Cache，如果命中會直接從對應的緩存中取數據，而不必每次去訪問主存，如果沒命中，會再去L2 Cache中找，依次類推，如果L3 Cache中不存在，就去內存中找。

4、尾語

本文簡單介紹了計算機性能瓶頸產生的原因，緩存及其發展歷史，最后講解了緩存彌補CPU和內存性能差異的原理，后面我們會繼續更詳細深入地介紹Cache的組織結構、緩存一致性，以及如何利用緩存提升我們代碼的性能等。

參考資料：

https://www.extremetech.com/extreme/188776-how-l1-and-l2-cpu-caches-work-and-why-theyre-an-essential-part-of-modern-chips

http://www.cpu-zone.com/80486.htm