

當前市場對于 AI 計算機乃至于計算中心的材料討論都是集中于某一個材料深挖,我們想以更加全面的視角將 AI 計算機的組成材料整體梳理清楚,尋找值得重點關注的方向。以英偉達 DGX H100 整機為例,AI 數據中心架構大體都遵循著“芯片、模塊、互聯、托盤、主機、機架、集群”的層層放大邏輯,目標是在標準化封裝與高帶寬互聯的約束下,把單點算力有效匯聚為可編排的集群算力。
2025年超節點峰會合集
2025超節點數據中心峰會合集(1)
2025超節點數據中心峰會合集(2)
2025超節點數據中心峰會合集(3)
2025超節點數據中心峰會合集(4)

芯片層:最底層的 H100 GPU 芯片是算力核心。在 H100 這一代,HBM 是和 GPU 核心一起做成同一個封裝的,通常是“GPU 核心裸片+多顆 HBM 堆疊+封裝基板”組合在一起。GPU 裸片和 HBM 直連顯著提升模型參數與激活數據的就地吞吐,降低訪存瓶頸。
另外,GPU 芯片內還集成 NVLink 控制器,等同于 GPU 自帶 NVLink 接口能力,從這顆芯片的封裝邊緣連到外部的互聯載體,比如插在 UBB 上,經由走線連到 NVSwitch 芯片,再到其他 GPU,為后續多 GPU 的點對點互聯提供物理通道。這一層可以視為“發動機”,具備能效密度優勢,但尚不具備系統落地所需的供電、散熱與標準接口能力。
加速器模塊層:在芯片之上,NVIDIA 采用 OAM 標準將 H100 制作為可替換、可維護的加速器模塊。OAM 搭載一顆 GPU 封裝芯片,并在模塊上集成穩壓供電、機械與熱接口以及高速觸點。這一步的本質是把裸硅轉化為“標準算力磚”,既滿足數據中心高功耗場景的工程化要求,又為后續密度化部署與快速維護提供邊際成本優勢。到此為止,單卡能力已經可用,但要實現多卡強耦合并擴展到系統級吞吐,還需要一層面向互聯的結構化基座。
通用基板(UBB)層:UBB 是多個 OAM 的承載與互聯平臺,核心增量是引入 NVSwitch 芯片,形成全互連的 GPU 高速域。與傳統通過 PCIe 或點對點 NVLink 鏈路的“局部互聯”不同,NVSwitch 提供交換能力,使得多塊 H100 可以以接近對稱的帶寬進行任意兩兩通信,顯著降低跨 GPU 通信的延遲,改善大規模并行訓練下的同步成本。站在系統設計視角,UBB 將若干 OAM 聚合成一個“GPU 計算島”。

托盤層:
① GPU 托盤:所謂托盤,可以理解為圍繞“GPU 計算島”的工程化子系統:它將 UBB、若干OAM、NVSwitch、風道與散熱模組、線纜與結構件、電源分配與管理信號等一體化封裝,形成抽屜式可插拔單元。NVIDIA H100 托盤有兩條主要形態:
一類是 HGX H100 的通用托盤,面向整機廠商的開放型部件,便于各家服務器平臺快速集成;
另一類是 DGX H100的定制托盤,更深度適配英偉達自有整機在布局、氣流組織、線纜路徑與維護工藝上的要求。無論形態差異如何,托盤層完成了“從電路到產品”的關鍵跨越:將高帶寬互聯與高功耗散熱在機械空間內穩定落地,為與通用計算平臺對接創造條件。
② 與 GPU 托盤相配套的,是主板托盤。主板托盤承載通用計算與系統入口職能,典型配置為雙路高性能 CPU 與大容量系統內存,同時布署 PCIe 根復合體、網絡與存儲接口、以及帶外管理控制器(BMC)。在邏輯分工上,CPU 負責任務編排、數據預處理、I/O 管理與與操作系統/驅動層協同,通過中板或背板與 GPU 托盤完成 PCIe 傳輸、管理與供電連接,并在運行時將數據有序地輸送至 GPU 計算島,再匯總結果。由此,計算系統的“指揮中樞”(CPU/內存)與“加速引擎”(8×H100 GPU)形成高效協作,既保障通用計算的廣譜適配性,也釋放加速域的并行吞吐。
整機層:當 GPU 托盤與主板托盤、電源與配電(PSU/PDB)、風扇與風道、結構與面板、網絡與本地存儲等子系統集成進同一機箱后,即構成 DGX H100 整機節點。

數據中心層:整機節點需要與機柜配電和機房基礎設施配合,多個 DGX H100 節點按安裝在標準機柜中。機柜上方會配有 PDU(配電單元),負責回路分配、計量與保護等任務,配合機房的冷熱通道設計,形成可預期的熱功耗邊界條件與維護策略。此外,為了讓 H100整機能夠高速協作,機柜會配有專門的管理機架,包含高帶寬的計算交換機、連接存儲的交換機、帶外管理交換機、管理服務器、管理存儲。

交換機的構造類似于主機。計算/帶外/存儲交換機都有共同的骨架:主 PCB 承載交換 ASIC,前面板是 SFP/QSFP 籠體,后部是可熱插拔 PSU 與風扇,控制板/CPU 在中部,風道前冷后熱(或反向)設計。AI 數據中心的計算交換機或高性能存儲交換機需要更高功耗、更高速口、更強散熱與多 ASIC 互聯的機型,但大體構成都是基本五件套:交換 ASIC、前面板端口與光模塊、控制 CPU、電源/散熱、機箱/背板。

此外,相比于 DGX H100 SU 這種由多臺 H100 組成的服務器機柜,新一代的高性能 AI 服務機柜更傾向于采用“超節點”架構。比如,NVL72 就是典型的“機柜級超節點”,一柜內有 72 塊 GPU,機柜內通過 NVLink-Switch 全互聯,側重在“單柜內做成一個大算力域/超節點”以達到更高的性能。從結構上來講,超節點架構主要是改變了互聯的方式,域內GPU 不再需要外部交換機,更高密度的集成也需要匹配更高功率模塊、高性能散熱等。
相比通用服務器,AI 服務器在 AI 芯片與內存帶寬上大幅增強,整機價值量隨之上移,其他配套部件也相應升級。根據半導體行業觀察披露的數據,NVIDIA DGX H100 GPU 板組(含HBM)占整機價值約 73%,存儲約 4%,封裝 0.55%,電源 0.45%,散熱部件 0.13%。

在DGX H100 機柜中,涉及該類材料的零部件主要包括:GPU、NVSwitch/CPU/NIC 等高性能邏輯與控制芯片;HBM/DDR 等存儲芯片;硅光/電光器件與光模塊內的驅動與 TIA 芯片;電源管理芯片與各類功率半導體器件。上述器件共同決定算力、帶寬與能效邊界,是材料投入密度最高、技術門檻最高的環節。
8、3+份技術系列基礎知識詳解(星球版)
9、12+份Manus技術報告合集
10、100+份AI芯片修煉合集
11、100+份AI Agent技術報告合集
… …
本號資料全部上傳至知識星球,更多內容請登錄智能計算芯知識(知識星球)星球下載全部資料。

免責申明:本號聚焦相關技術分享,內容觀點不代表本號立場,可追溯內容均注明來源,發布文章若存在版權等問題,請留言聯系刪除,謝謝。
溫馨提示:
請搜索“掃碼”加入星球,點擊“閱讀原文”獲取更多原創技術干貨。

