·聚焦:人工智能、芯片等行業(yè)
歡迎各位客官關注、轉(zhuǎn)發(fā)
手機里最省電、最不起眼的那顆內(nèi)存，被高通疊成3D小樓，再把加速器墊在了樓下。
近日，HBC（High-Bandwidth Compute）架構(gòu)登臺，槍口對準HBM盤踞多年的AI內(nèi)存王座。
「有效」二字更值得盯住
高通在投資者日上正式揭開High Bandwidth Compute，中文可譯為「高帶寬計算」。
名稱里用的是Compute，而非Memory，這已經(jīng)點明它與HBM的根本差別：HBC是一套包含內(nèi)存和計算邏輯的架構(gòu)，并非單獨出售的內(nèi)存產(chǎn)品。
高通公開的結(jié)構(gòu)圖頗為直白：多層LPDDR通過TSV硅通孔疊在HBC加速器上，HBC模塊與主SoC并排放在2D有機基板上；內(nèi)存密集型工作由HBC就近處理，主SoC繼續(xù)承擔復雜、靈活且需要統(tǒng)一調(diào)度的計算。
搭載HBC Gen 1的Dragonfly AI250，設計指標為單卡768 GB內(nèi)存、133 TB/s有效內(nèi)存帶寬；56張卡組成的機架擁有43 TB內(nèi)存和7.455 PB/s有效帶寬，機架熱設計功耗為140 kW。
與采用LPDDR5X的AI200相比，容量沒有增加，有效帶寬卻提高到18倍，HBC Gen 1商業(yè)樣片預計到2027年年中才會出現(xiàn)。
把算力墊在內(nèi)存腳下
HBM用TSV把DRAM垂直堆起，再借CoWoS先進封裝貼靠在計算芯片身側(cè)，距離縮短了，代價也水漲船高，硅中介層、封裝產(chǎn)能、良率損耗，每一項都在給賬單添零。
高通換了個方向，HBC采用分離式設計：主SoC歸主SoC，內(nèi)存歸內(nèi)存，中間以標準2D有機基板互連，昂貴的硅中介層和CoWoS被一并請出門外。
真正的巧思藏在內(nèi)存那一側(cè)，一顆專用近內(nèi)存加速器墊在LPDDR堆棧下方，計算與存儲經(jīng)TSV垂直直連，數(shù)據(jù)的通勤距離從「樓上樓下」縮成「隔壁工位」。
高通數(shù)據(jù)中心業(yè)務負責人Tony Pialis的說法很直白：把XPU直接墊到DRAM堆棧下面，就能兼得SRAM級的速度與堆疊內(nèi)存的密度。
位置關系一變，賬本跟著改寫。按高通公布的數(shù)據(jù)，搭載第一代HBC的AI250加速器單卡內(nèi)存帶寬達133TB/s，有效帶寬是使用LPDDR5X的AI200的18倍，支持最高768GB堆疊容量；卡級歸一化對比下，單位功耗帶寬是HBM的6倍，單位功耗容量是SRAM的200倍。
第二代HBC將隨AI300于2028年落地，有效帶寬較AI200再抬升至54倍，每瓦帶寬較HBM高出7倍。
為什么偏偏是LPDDR？這顆為手機而生的內(nèi)存，骨子里刻著兩條基因：超低功耗，以及遠比HBM寬松的成本曲線。單堆容量上限更高、3D堆疊更友好，使它成為大容量推理的天然候選。
過去它棲身于手機和邊緣終端，近年已悄悄滲入AI推理加速卡，高通自己的AI200就標配LPDDR5X，單機架容量43TB，HBC相當于把這次滲透從「游擊」升級成「正面進攻」。
HBM4也在把邏輯芯片塞進堆棧底層，干起「近內(nèi)存」的活。方向人人都看得見，高通只是走得更決絕，索性把整套加速器的地基打在內(nèi)存樓下。
計算向內(nèi)存靠近也不是一夜之間冒出的靈感，美光十多年前推出的Hybrid Memory Cube，同樣采用TSV把DRAM疊在高速邏輯層上；三星在2021年發(fā)布HBM-PIM，把可編程AI引擎放進HBM存儲體，宣稱在特定測試中可提升性能并減少數(shù)據(jù)移動。
HBC的看點在于時機與落點，它把近存計算、LPDDR、長上下文推理和整機架部署綁在一起，瞄準的工作負載比早期PIM方案清晰得多。
推理解碼給LPDDR開了側(cè)門
訓練大模型時，大規(guī)模矩陣運算會盡可能吃滿計算單元；在線推理卻有另一副脾氣。
輸入提示詞的預填充階段偏重計算，逐字生成答案的解碼階段需要不斷讀取模型權(quán)重和持續(xù)膨脹的KV緩存，經(jīng)常受制于內(nèi)存帶寬。
相關Roofline研究顯示，在典型大模型推理中，解碼階段的主要算子普遍落入內(nèi)存受限區(qū)間。
智能體把這種矛盾推得更尖銳，一次任務可能包含長提示詞、連續(xù)推理、工具調(diào)用和多輪回看；每生成一個Token，系統(tǒng)都要搬動大量數(shù)據(jù)。此時再堆更多計算單元，很像給缺糧的廚房添灶臺，火力壯觀，鍋里仍然空著。
AI250恰好對準這一段，高通將它定位為解碼、推理鏈和智能體工作負載的專用平臺，宣稱單卡768 GB容量有助于減少上下文換出，并把支持的上下文長度從AI200的128K推進到100萬Token。
容量、帶寬和功耗被放在同一張賬單里，評價單位也由峰值FLOPS轉(zhuǎn)向每瓦Token數(shù)、每美元Token數(shù)。
LPDDR本身早已跨過手機邊界，NVIDIA Vera CPU同樣使用LPDDR5X，容量最高1.5 TB、帶寬最高1.2 TB/s，并與Rubin GPU的HBM4形成一致地址空間，用于KV緩存卸載和多模型運行。
NVIDIA Vera Rubin架構(gòu)說明，HBC真正新增的變量，是把計算邏輯放到LPDDR堆棧旁邊，而非單純把移動內(nèi)存裝進服務器。
這也是高通押注數(shù)據(jù)中心的商業(yè)支點，公司把2029財年數(shù)據(jù)中心收入目標定在150億美元以上。
它無須在所有訓練任務上擊敗GPU，只要在規(guī)模龐大、長期運行的推理機架中拿到一塊穩(wěn)定份額，LPDDR時代積累的功耗設計、內(nèi)存控制器和系統(tǒng)集成能力便能換一種方式兌現(xiàn)。
拆墻的不止高通一家
HBC出現(xiàn)時，HBM并沒有停在原地等待挑戰(zhàn)。三星和美光均已宣布HBM4量產(chǎn)：美光36 GB 12層HBM4帶寬超過2.8 TB/s；三星產(chǎn)品最高可達13 Gbps針腳速率和3.3 TB/s單堆帶寬。
主流加速器也已經(jīng)把HBM4寫進下一代平臺，NVIDIA公布的初步規(guī)格顯示，單顆Rubin GPU配置288 GB HBM4，內(nèi)存帶寬22 TB/s；AMD MI450則提供最高432 GB HBM4和19.6 TB/s帶寬。
HBC真正能夠撬動的，是HBM覆蓋所有AI負載的默認地位。訓練和高計算密度的預填充繼續(xù)青睞GPU與HBM；大規(guī)模、長時間運行的解碼業(yè)務可能轉(zhuǎn)向HBC等近存計算；CPU側(cè)上下文和KV緩存則更多使用LPDDR。
對HBM廠商而言，這既是壓力，也是新生意。部分推理需求可能離開高毛利HBM，LPDDR裸片、定制邏輯底座和3D集成又會形成新的價值環(huán)節(jié)；對云廠商而言，多一種架構(gòu)就多一分議價能力。
對高通而言，挑戰(zhàn)也很清楚：它需要證明自己賣出的不止是一張漂亮的帶寬幻燈片，還有一套能被開發(fā)者使用、被數(shù)據(jù)中心維護、被財務部門算清楚的系統(tǒng)。
這恰是高通的機會窗口，它沒打算跟HBM拼絕對帶寬，它賭推理將成為AI算力的主增量，為此甚至收購開源AI軟件公司Modular補齊軟件短板。
高通預測，2029財年全球AI加速器市場規(guī)模將達6800億美元。
結(jié)尾：
真正的變化，在于AI內(nèi)存的王座可能被拆成幾把椅子。HBM繼續(xù)托舉訓練與通用加速，HBC爭奪推理解碼的規(guī)模紅利。
高通若能把133 TB/s兌現(xiàn)為穩(wěn)定的Token吞吐和更低賬單，LPDDR這次跨界便會從客串變成改寫分工。
部分資料參考：電子工程專輯：《重磅！高通發(fā)明全新內(nèi)存架構(gòu)：帶寬提升54倍》，全球半導體觀察：《高通推出 HBC 近內(nèi)存計算架構(gòu)，配套兩代 AI 加速器公布迭代時間表》，OFweek電子工程網(wǎng)：《AMD 的 Versal 芯片從 HBM 轉(zhuǎn)向 LPDDR5X》，36氪：《高通全面進軍 AI 數(shù)據(jù)中心：與 Meta 簽多代 CPU 大單、微軟部署 HBC 芯片，預計 2029 年業(yè)務收入達150億》
本公眾號所刊發(fā)稿件及圖片來源于網(wǎng)絡，僅用于交流使用，如有侵權(quán)請聯(lián)系回復，我們收到信息后會在24小時內(nèi)處理。
推薦閱讀：
商務合作請加微信勾搭：
18948782064
請務必注明：
「姓名 + 公司 + 合作需求」
