內存價格這一年來漲了3-5倍，已經嚴重影響了大家對PC和手機的消費意愿，而導致這次內存大漲價的元兇就是AI需求太猛。
大家都知道AI對內存（GPU上算顯存）的容量及帶寬要求都很高，但具體能高到什么程度？谷歌前幾天發布的第八代TPU就是最好的例子。
今年的TPU v8首次針對訓練及推理做了區分，V8T偏重AI訓練，雖然谷歌說也可以做推理，但主要還是訓練用的，每個Pod節點堆了9600個V8T芯片，FP4性能達到了121EFlops，內存帶寬19.2TB/s，芯片內部帶寬400GB/s，幾乎都是2-4倍的變化。
V8i主要面向AI推理負載，規格上要降不少，每個節點只有1152個V8i芯片，算力降低到了11.6EFlops，內存帶寬19.2TB/s沒變。
值得注意的是，內存容量這次猛增了不少，V8i也達到331.8TB HBM內存，V8T更是夸張到了2PB HBM內存，每個V8T芯片配備了216GB HBM內存。
谷歌這次的設計理念是為了打破AI瓶頸的內存墻，2PB HBM不止是總容量超大那么簡單，是在一個節點內作為單一全局地址使用，而NVIDIA的GPU此前雖然也能通過NVLink等技術堆出PB級的HBM內存，但連接也繞不過傳統的數據中心網絡，這會有性能及延遲瓶頸問題。
RobustCloud首席顧問Larry Carvalho表示，打破“內存墻”標志著谷歌在AI芯片領域的潛在重大競爭轉變。
但是對普通人來說，谷歌這次上2PB HBM內存可不是什么好現象，因為這意味著AI對內存的需求還在漲，要知道HBM內存通常要比常規的DDR內存多消耗2-4倍的DRAM芯片產能，HBM用量越多，擠占的DDR內存產能就越多。
即便需求高漲，三星、SK海力士、美光等公司也會優先保證HBM需求，但他們此前明確了不會大幅提升芯片產能，顯然內存芯片的緊缺狀態還會更嚴重，價格是別指望快速降回來了。
