異構推理：AI芯片的結構性機遇！

點擊藍字

關注我們

因為公眾號平臺更改了推送規則。記得點下右下角的大拇指“贊”和紅心“推薦”。這樣每次新文章推送，就會第一時間出現在訂閱號列表里。

AI硬件的下一個結構轉變，并非SRAM取代HBM，而是認識到LLM的推理過程可以分解為多個獨立階段，而每個階段都對應著不同類型的硅芯片。依賴大量SRAM的加速器，能夠占據傳統GPU架構在解碼子路徑上性能最突出的位置。本期內容新增了解碼與解碼-全連接神經網絡（FFN）的深度技術圖示，以及對每個token生成步驟實際發生過程的交互式逐步解析。

AI芯片下一個結構機遇并非SRAM取代HBM，而是異構推理——即不同芯片分別承擔生成循環中的不同環節，而以SRAM為主的加速器正越來越多地占據解碼端的FFN和MoE路徑。

概述  

僅靠full-stack LLM推理，SRAM路線的AI芯片難以取勝，但如果能作為解碼端帶寬受限部分的專業處理器，接入主流GPU、TPU或云端ASIC架構，則可能在戰略上變得極具競爭力。

這比“SRAM是AI下一代通用存儲層級”這一說法更為具體，也更具可信度——它符合硬件的物理特性、Transformer推理的工作負載特征，以及當前行業發布的趨勢方向。

推理并非單一工作負載 

支持異構推理的最強論據始于一個簡單的觀察：一個Transformer服務棧的行為并不像一個單一的內核那樣。從最高層面來看，LLM推理包含三個明顯不同的階段，各具獨特的資源瓶頸。

第一階段 填充預處理 

模型一次性讀取整個提示。Q_len = N，因此attention矩陣非常大——大量查詢與大量鍵的匹配。計算開銷極大，主要依賴高顯存的GPU。

第二階段 解碼attention  

每步生成一個token。查詢長度為1，但模型必須對整個KV緩存（所有先前的token）進行attention機制處理。隨著上下文和并發用戶數量增加，KV緩存會不斷增長——這給SRAM的容量帶來了壓力。

第三階段 解碼FFN

在attention機制之后，每個token會經過前饋層。這些層以高帶寬傳輸模型權重——但權重大小是固定的（不隨上下文增長），因此SRAM的帶寬優勢變得至關重要。

深入解析：解碼階段究竟發生了什么 

“解碼階段”是大多數人接觸的推理過程，也就是ChatGPT或Claude逐字輸出的生成內容。但硬件在每一步的實際操作比“生成一個詞”要復雜得多。以下是單個解碼步驟內部發生的過程。

解碼中的FFN：為何它成為SRAM的機遇 

在解碼的所有操作中，前饋網絡（FFN）層對SRAM最友好。要理解原因，首先需要了解FFN的作用及其占用的內存空間情況。

FFN的計算方式：大多數現代Transformer 使用SwiGLU FFN（如Llama、Mistral、Gemma 等）

FFN包含三個權重矩陣。對于Llama-3-70B（d_model=8192，每層d_ff=28，672，共80層）：

每個解碼步驟都必須將每層1.4 GB的FFN權重通過計算單元進行流式傳輸。激活向量（僅8192個浮點數，即16 KB）非常小。這是一個幾乎完全受限于內存帶寬的問題：計算量最小，內存數據移動最大。其計算過程本質上是：“將1.4 GB的數據拖過內存總線，與一個16 KB的向量相乘。”

算術密集度= 指令數/字節數。對于一個FFN GEMV：2*8192*28672 指令數/ (8192*28672*2 字節) ≈1 指令/字節。H100的峰值比率為約300 指令/字節（BF16）。我們僅使用了可用計算能力的0.3%。唯一重要的是能夠多快地傳輸字節。

固定權重的優勢——為何attention更難  

注意力同樣需要高帶寬，但它存在SRAM無法解決的問題：KV緩存會隨著上下文長度和同時處理的批次大小線性增長。以Llama-3-70B為例，當上下文窗口為128K、批次大小為64時：

MoE使FFN論點更加有力 

像Mixtral 8*7B、DeepSeek-V3以及（推測中的）GPT-4這類MoE采用條件路由：每個token僅被發送到N個專家FFN模塊中的2至4個，而非全部。這使得“FFN作為SRAM目標”的論點顯著增強。

這是SRAM真正起決定性作用的場景：一個由足夠小的專家組成的MoE模型，這些專家可集成在芯片上（或至少是熱點子集），每個token僅路由至64個專家中的2個。SRAM芯片為這些專家提供約20 TB/s的本地帶寬，而GPU則通過HBM處理attention機制以及冷專家的負載。

SRAM的權衡是顯而易見的 

采用SRAM的芯片在物理和經濟方面做出了非常明確的權衡。它們利用昂貴的片上內存來實現卓越的本地帶寬和低延遲，但其容量擴展能力不如基于HBM的系統那樣平滑。

“SRAM將取代HBM”在需要長期穩定運行的大容量需求下，從物理和經濟角度都難以實現。HBM在容量（每堆144GB以上）和帶寬（HBM3e可達4.8TB/s）方面持續擴展。更有力、更持久的主張是：SRAM能在異構堆疊中勝出，解決帶寬受限的子問題。 

分階段的SRAM適配

異構推理：新架構 

異構推理意味著將服務分散到多個硬件類別中，而不是堅持單一平臺完成所有任務。新興的藍圖：

發展現狀 

NVIDIA Vera Rubin + Groq 3 LPX 

NVIDIA 2026年3月發布的Rubin 材料描述，Rubin GPU 在處理預填充和解碼attention時表現優異，而Groq 3 LPX 則專注于延遲敏感的FFN和MoE解碼。這是SRAM 邊車理論最清晰、最直接的產品體現。

Groq LPU 

采用片上SRAM作為主要存儲。具備確定性、低延遲的推理能力，純現實場景下展示了SRAM在生產環境中的應用。在中小型模型上表現出色的令牌處理速度。

AWS Trainium + Cerebras 

公開描述的分層推理：Trainium用于預填充，Cerebras用于解碼。尚未完全實現僅解碼部分使用FFN的劃分，但已具備超大規模架構級能力，愿意將不同階段分配給不同的芯片。

Cerebras是技術上最具戲劇性的案例。CS-3 納米片級芯片內置 44 GB 的 SRAM 和約 21 PB/s 的內存帶寬——這些數據極為驚人。但 44 GB 意味著 Cerebras 能夠在 BF16 中存儲最多約 20–25億個參數的模型權重，或在 INT8 下運行更大規模的模型。這在中小型FFN解碼中表現優異；但對于 70 億以上參數的模型，或需要超長上下文attention機制的KV 緩存，則會遇到性能瓶頸。

Cerebras的最佳應用場景深度集成于異構云架構中：另一加速器負責預填充和解碼注意力；Cerebras獨立承擔解碼FFN任務，完全避免了KV容量的限制。

但試圖作為通用推理替代方案獨立存在，卻陷入了最棘手的經濟問題——大模型的KV容量、長上下文擴展以及整個系統的成本合理性。

最佳反論

• HBM的性能持續提升。HBM3e目前達到4.8 TB/s，而即將推出的HBM4將進一步縮小差距。如果HBM路線圖保持不變，SRAM帶寬優勢將逐漸縮小。（反駁：預計HBM4可達約10 TB/s；SRAM同樣具備擴展性，即便達到10 TB/s，仍比20+ TB/s的SRAM落后兩倍。）

  
  

• 集成難度高。在芯片之間分割推理任務會引入調度、通信延遲、編譯器復雜性以及軟件協同問題。GPU與SRAM加速器之間的token向量傳遞實際上就是一項真正的延遲預算。

  
  

• 經濟性取決于利用率。專用芯片只有在運營商能夠持續使其運行滿負荷時才具有經濟效益。解碼FFN并非服務時間的全部——空閑時間會損害總體擁有成本（TCO）。

  
  

• 并非所有模型都表現一致。密集型模型、MoE模型、長上下文模型以及代理工作負載對堆棧的壓力各不相同。專為MoE FFN解碼優化的芯片，在依賴密集型attention的工作負載上可能表現不佳。

  
  

這些反對意見并未徹底否定該論點 

它們只是意味著，SRAM最終占據主導地位的方式很可能是選擇性、集成化且依賴軟件，而非普適性的。一款芯片若能成功解決一個明確界定的子問題，并與主流生態系統無縫集成，依然是一項巨大的商業機會。 

結論 

AI芯片中的結構性機遇，已不再體現在一種存儲技術在純粹的直接替代競爭中擊敗另一種技術。而是關乎工作流程的分解。

HBM密集型系統仍是通用性主干架構。而SRAM密集型系統則越來越像專用加速器，用于在帶寬受限的解碼路徑中重新獲得性能——尤其是在FFN和MoE解碼中，其算術強度接近零且權重占用空間固定。

原文鏈接：

< 長按識別二維碼添加好友 >

加入上述群聊

長按并關注

帶你走進萬物存儲、萬物智能、

萬物互聯信息革命新時代

微信號：SSDFans