AI面臨的關(guān)鍵挑戰(zhàn)：功率、內(nèi)存、互連和可擴(kuò)展性

一個(gè)充滿(mǎn)人工智能的世界正在迅速崛起，改變著各個(gè)行業(yè)和日常生活。從先進(jìn)的太空探索和智能城市到個(gè)性化醫(yī)療保健和精準(zhǔn)農(nóng)業(yè)，人工智能正在徹底改變我們與技術(shù)的互動(dòng)方式。它推動(dòng)教育、能源效率和自動(dòng)駕駛領(lǐng)域的突破，展現(xiàn)出其應(yīng)對(duì)全球挑戰(zhàn)的潛力。

隨著人工智能無(wú)縫融入各個(gè)領(lǐng)域，未來(lái)有望增強(qiáng)創(chuàng)新、生產(chǎn)力和連通性，塑造一個(gè)更智能、更可持續(xù)的世界。

根據(jù) 2014 年以來(lái)人工智能相關(guān)電力需求的快速增長(zhǎng)，這得益于人工智能系統(tǒng)的廣泛部署。這一激增主要由人工智能訓(xùn)練和推理任務(wù)中 GPU 的使用率推動(dòng)。預(yù)測(cè)表明，到 2030 年，人工智能系統(tǒng)可能消耗美國(guó)總電力的 16%——這是一個(gè)驚人的估計(jì)。短短兩年內(nèi)，人工智能的電力需求預(yù)計(jì)將增加 5 倍。盡管 GPU 的每瓦性能正在取得進(jìn)步，但這些進(jìn)步不足以抵消人工智能系統(tǒng)規(guī)模擴(kuò)大造成的能源消耗增長(zhǎng)。

這些 GPU 顯著提高了訓(xùn)練計(jì)算能力（以 PFLOPS 為單位），以滿(mǎn)足 AI 工作負(fù)載（包括圖像處理和大型語(yǔ)言模型）的需求。性能的大幅提升（尤其是在 2027 年至 2028 年之間）與 2nm 及以下先進(jìn)節(jié)點(diǎn)的量產(chǎn)相吻合。更高的內(nèi)存帶寬和更大規(guī)模的異構(gòu)集成支持了這一增長(zhǎng)，從而確保了更高的計(jì)算能力能夠滿(mǎn)足 AI 不斷增長(zhǎng)的需求。

有趣的是，雖然目前大部分功耗都集中在 AI 訓(xùn)練上，但推理任務(wù)預(yù)計(jì)將大幅增長(zhǎng)，因?yàn)榇笮驼Z(yǔ)言模型 (LLM) 需要大量能量進(jìn)行處理。管理這種指數(shù)級(jí)需求將需要在能源效率和硬件優(yōu)化方面進(jìn)行重大創(chuàng)新。模塊化架構(gòu)、改進(jìn)的互連和節(jié)能的 AI 芯片將至關(guān)重要，同時(shí)采用可再生能源并優(yōu)化數(shù)據(jù)中心的電力使用以減輕環(huán)境影響。隨著 AI 驅(qū)動(dòng)的工作負(fù)載越來(lái)越多地將重點(diǎn)從訓(xùn)練轉(zhuǎn)移到推理，進(jìn)一步增加電力需求、平衡性能和可持續(xù)性對(duì)于確保 AI 技術(shù)的可擴(kuò)展性和長(zhǎng)期可行性至關(guān)重要。

另一個(gè)關(guān)鍵問(wèn)題是內(nèi)存。雖然內(nèi)存容量每?jī)赡攴环?，?LLM 卻以前所未有的速度擴(kuò)張，網(wǎng)絡(luò)規(guī)模每?jī)赡暝鲩L(zhǎng) 410 倍。這導(dǎo)致內(nèi)存容量和帶寬的雙重短缺。

SK Hynix 表示，其已售出 2025 年配額的大部分高帶寬內(nèi)存芯片，AI 熱潮仍在持續(xù)。

雖然存儲(chǔ)級(jí)內(nèi)存 (SCM) 可以解決容量問(wèn)題，但這些內(nèi)存的速度太慢，無(wú)法跟上計(jì)算速度，從而導(dǎo)致瓶頸。因此，內(nèi)存容量和帶寬必須同時(shí)提高。

HBM 和先進(jìn)封裝引領(lǐng)潮流。

互連限制在推動(dòng) AI 芯片走向先進(jìn)封裝方面起著至關(guān)重要的作用，因?yàn)閭鹘y(tǒng)的互連技術(shù)無(wú)法滿(mǎn)足 AI 工作負(fù)載日益增長(zhǎng)的需求。

引線鍵合主要用于較舊的技術(shù)，隨著時(shí)間的推移其尺寸逐漸減小。

CSP（芯片級(jí)封裝）和 FBGA（細(xì)間距球柵陣列）是用于較小節(jié)點(diǎn)的現(xiàn)代封裝方法，特別適用于移動(dòng)和消費(fèi)應(yīng)用。

FCBGA（倒裝芯片球柵陣列）和 TSV（硅通孔）代表更先進(jìn)的封裝，集成了多芯片堆棧，通常用于高性能應(yīng)用。

C2W 鍵合（芯片到晶圓）、W2W 鍵合（晶圓到晶圓）和微凸塊 TSV 代表較新的封裝方法，專(zhuān)注于 3D 集成和更小的節(jié)點(diǎn)尺寸，提供增強(qiáng)的互連性和性能。

AI 芯片需要極高的數(shù)據(jù)傳輸速率和低延遲來(lái)處理大量數(shù)據(jù)，尤其是在 LLM 等大型模型的訓(xùn)練和推理任務(wù)中。然而，傳統(tǒng)的互連面臨著以下挑戰(zhàn)：

帶寬瓶頸：傳統(tǒng)互連難以為高性能 AI 系統(tǒng)提供足夠的帶寬，導(dǎo)致處理單元之間的數(shù)據(jù)移動(dòng)延遲和效率低下。

能源效率：隨著互連規(guī)模的擴(kuò)大，能耗顯著增加，如果沒(méi)有先進(jìn)的節(jié)能解決方案，使用傳統(tǒng)方法擴(kuò)展系統(tǒng)是不切實(shí)際的。

集成挑戰(zhàn)：現(xiàn)代 AI 系統(tǒng)通常需要多個(gè)芯片或模塊無(wú)縫協(xié)作，這需要比傳統(tǒng)互連更緊密的集成。

擴(kuò)展限制：隨著 AI 模型規(guī)模的擴(kuò)大，對(duì)緊湊、高密度互連的需求變得至關(guān)重要，以集成芯片和內(nèi)存組件。

芯片集成、3D 堆疊和硅通孔 (TSV) 等先進(jìn)封裝技術(shù)通過(guò)實(shí)現(xiàn)更高的帶寬、更低的延遲和更好的功率效率來(lái)解決這些限制。這些創(chuàng)新使 AI 芯片能夠有效擴(kuò)展，同時(shí)滿(mǎn)足下一代工作負(fù)載的需求

UCIe（通用芯片互連規(guī)范）是一個(gè)行業(yè)聯(lián)盟，致力于開(kāi)發(fā)和推廣芯片互連的標(biāo)準(zhǔn)化規(guī)范。其目標(biāo)是實(shí)現(xiàn)來(lái)自不同供應(yīng)商的芯片之間的無(wú)縫通信，促進(jìn)半導(dǎo)體設(shè)計(jì)的互操作性和模塊化。通過(guò)建立通用標(biāo)準(zhǔn)，UCIe 旨在提高先進(jìn)半導(dǎo)體系統(tǒng)的可擴(kuò)展性、效率和靈活性，促進(jìn) AI、HPC 和數(shù)據(jù)中心等領(lǐng)域的創(chuàng)新。

英特爾、AMD、臺(tái)積電、ARM、ASE等半導(dǎo)體行業(yè)的主要公司都參與了這一計(jì)劃。

UCIe 的未來(lái)在于它能夠?qū)I(yè)界領(lǐng)先的 KPI 擴(kuò)展到 UCIe-3D，從而實(shí)現(xiàn)芯片互連技術(shù)的重大進(jìn)步。從 UCIe-S (2D) 和 UCIe-A (2.5D) 到 UCIe-3D 的演進(jìn)突出了數(shù)據(jù)速率、功率效率和帶寬密度等關(guān)鍵指標(biāo)的改進(jìn)。