因為公眾號平臺更改了推送規則。記得點右下角的大拇指“贊”和紅心“推薦”。這樣每次新文章推送，就會第一時間出現在訂閱號列表里。
在AI加速器快速發展的時代，High Bandwidth Memory（HBM）、High Bandwidth Flash（HBF）和High Bandwidth Storage（HBS）正逐步構建起層次分明且協同工作的內存架構。HBM提供極致的運行速度，HBF實現海量模型存儲容量，而HBS則將高帶寬堆疊式內存引入移動設備，使AI能夠覆蓋更廣泛的應用場景。
未來的大型AI系統預計將越來越多地采用HBM作為熱數據層、HBF作為冷數據層的組合，而邊緣智能將利用HBS將高帶寬存儲擴展到全新的應用場景。
HBM：AI訓練的“超高速工作內存”
HBM采用堆疊式DRAM架構，通過TSV技術實現超高帶寬。在大型模型訓練過程中，計算核心必須以極低延遲訪問參數和中間特征。在此背景下，HBM如同一個緊鄰GPU的“超高速工作臺”。
性能躍升
HBM3E產品已實現高達1.2 TB/s的帶寬，約為DDR5內存的五倍，有效突破了AI計算中的“內存墻”，支持高度并行的大模型工作負載。預計到2026年，HBM3E仍將作為主流解決方案，堆疊層數從8個芯片增至12個芯片，性能持續提升。
能效優化
與GDDR6相比，HBM的功耗降低了40%至50%，顯著緩解了熱管理難題，并降低了AI集群的能源成本。因此，它特別適用于高密度數據中心部署。
空間壓縮
通過垂直集成，最多可將32個DRAM芯片集成到14毫米*14毫米的緊湊封裝中，顯著提升集成密度。
主要供應商
SK海力士（HBM2E、HBM3和HBM3E的主要供應商）、三星、美光
HBF：AI推理的“大容量高速文件柜”
HBF基于NAND閃存，通過堆疊和高密度封裝技術實現接近HBM的帶寬水平，同時具備更大的存儲容量。在AI推理工作負載中，HBF作為模型權重的主要存儲庫。它并非取代HBM，而是作為位于HBM之上的大容量高速緩存層。
主要優勢
在容量方面，單個HBF堆疊最高可達512 GB，而八層堆疊配置可提供4 TB的總容量，是HBM4（64 GB）的8至16倍。Kioxia已展示出一款原型模塊，支持5 TB容量和64 GB/s的帶寬。
從成本角度來看，與DRAM相比，NAND閃存每吉字節的成本僅為DRAM的十分之一到二十分之一，具有極高的性價比。在性能方面，其帶寬可達1.6 TB/s至3.2 TB/s，可與HBM3相媲美，并遠超傳統SSD，后者通常峰值性能約為7,000 MB/s。
技術創新
HBF采用12至16層3D NAND芯片的垂直堆疊結構，并通過TSV技術實現互連。結合專用邏輯芯片和插接芯片，該架構形成了一種高密度的互連網絡，可實現對多個NAND陣列的并行訪問。基于SK海力士的238層3D NAND技術，12層HBF堆疊可實現有效2,866層結構，總容量達768 GB。
代表供應商
三星、SK海力士、鎧俠、美光、CXMT
HBS：面向移動設備的“混合高帶寬存儲系統”
HBS將移動DRAM和NAND閃存集成到新一代存儲器中，旨在提升智能手機和平板電腦的AI性能。該技術支持最多16個DRAM和NAND模塊的堆疊，并通過VFO技術實現互聯，從而提高數據處理速度。
SK海力士目前正在研發的VFO技術采用銅線替代銅柱。DRAM芯片以階梯狀堆疊方式排列，縫隙中注入環氧樹脂并固化，以穩定結構。隨后，垂直的柱狀導線和再分布層將堆疊結構與基板連接起來。
VFO將FOWLP與DRAM堆疊技術相結合。通過引入垂直互連，顯著縮短了多個DRAM層之間的信號傳輸路徑，使布線長度減少至傳統內存設計的四分之一以下，并提升了4.9%的能效。盡管熱輸出增加了約1.4%，但整體封裝厚度卻減少了27%。
主要供應商
三星（LPDDR + UFS 集成解決方案領先企業），SK海力士（移動DRAM + NAND堆疊封裝），美光（移動堆疊存儲解決方案）
HBM vs HBF vs HBS：AI訓練、推理與邊緣AI的內存架構
實際上，未來的大型AI系統預計將采用多層級內存架構，其中HBM作為熱存儲，HBF作為冷或溫區存儲，而HBS則滿足邊緣AI的需求。
在真實AI系統中它們如何協同工作
AI訓練（數據中心GPU）：HBM緊鄰計算核心，負責處理活躍參數和中間張量，其中延遲和帶寬至關重要。
AI推理（大模型）：HBF作為模型權重的高容量、高帶寬存儲層級，在分層內存系統中位于HBM之上，顯著減少對較慢SSD的依賴。
Edge / On-device AI HBS 將 DRAM 和 NAND 集成于緊湊且節能的封裝中，支持在智能手機、平板電腦及其他移動平臺上的本地推理。
HBM vs HBF vs HBS：基于AI工作負載場景的對比
AI系統的內存層次結構
現代AI系統依賴于分層的內存架構，以在帶寬、容量、延遲和成本之間取得平衡。在層次結構的頂層，HBM作為熱存儲，與GPU或AI加速器緊密耦合，為訓練和推理過程中的活躍參數及中間張量提供超高速帶寬和超低延遲。在HBM之下，HBF作為大容量、高帶寬的存儲層級，用于存儲海量模型權重，減少頻繁向較慢的外置存儲設備（如SSD）傳輸數據。在邊緣端，HBS將移動式DRAM和NAND閃存集成到緊湊且節能的封裝中，在嚴格的功耗和外形尺寸限制下實現高帶寬的數據訪問。這些層級共同構成一個可擴展且具備工作負載感知能力的內存層次結構，使AI系統能夠在數據中心和邊緣環境中高效支持大模型訓練、高吞吐量推理以及設備端智能應用。
原文鏈接：
高端微信群介紹 | |
創業投資群 | AI、IOT、芯片創始人、投資人、分析師、券商 |
閃存群 | 覆蓋5000多位全球華人閃存、存儲芯片精英 |
云計算群 | 全閃存、軟件定義存儲SDS、超融合等公有云和私有云討論 |
AI芯片群 | 討論AI芯片和GPU、FPGA、CPU異構計算 |
5G群 | 物聯網、5G芯片討論 |
第三代半導體群 | 氮化鎵、碳化硅等化合物半導體討論 |
存儲芯片群 | DRAM、NAND、3D XPoint等各類存儲介質和主控討論 |
汽車電子群 | MCU、電源、傳感器等汽車電子討論 |
光電器件群 | 光通信、激光器、ToF、AR、VCSEL等光電器件討論 |
渠道群 | 存儲和芯片產品報價、行情、渠道、供應鏈 |
< 長按識別二維碼添加好友 >
加入上述群聊
帶你走進萬物存儲、萬物智能、
萬物互聯信息革命新時代
