本文來自“光模塊專題：AI驅(qū)動網(wǎng)絡(luò)變革，光摩爾定律加速”。傳統(tǒng)數(shù)據(jù)中心經(jīng)歷了從三層架構(gòu)到葉脊架構(gòu)的改變，主要是為了適配數(shù)據(jù)中心東西向流量的增長。隨著數(shù)據(jù)上云的進程持續(xù)加速，云計算數(shù)據(jù)中心規(guī)模持續(xù)擴大，而其中所采用的的虛擬化、超融合系統(tǒng)等應(yīng)用推動數(shù)據(jù)中心東西向流量大幅增長——根據(jù)思科此前的數(shù)據(jù)，2021年數(shù)據(jù)中心相關(guān)的流量中，數(shù)據(jù)中心內(nèi)部的流量占比超過70%。光模塊專題：AI驅(qū)動網(wǎng)絡(luò)變革，光摩爾定律加速《半導體行業(yè)深度報告合集（2024）》
1、半導體行業(yè)報告（一）：入空馭氣奔如電，電子氣體國產(chǎn)進程有望加速?2、半導體行業(yè)報告（二）：存儲市場柳暗花明，國產(chǎn)化替代未艾方興?3、半導體行業(yè)報告（三）：新能源打開IGBT天花板，新產(chǎn)能蓄力國產(chǎn)新臺階4、半導體行業(yè)報告（四）：MCU汽車+工控+新消費IoT5、半導體行業(yè)報告（五）：先進工藝帶來CMP拋光材料新增長空間?6、半導體行業(yè)報告（七）：5G助推射頻前段高速發(fā)展，國內(nèi)升級扶搖直上?7、半導體行業(yè)報告（八）：存儲市場復(fù)蘇在即，模組廠商曙光再現(xiàn)8、半導體行業(yè)報告（九）：模擬芯片穩(wěn)中維良，拓新域國內(nèi)廠商辟土開疆9、半導體行業(yè)報告（十）：AI大模型風起云涌，半導體與光模塊高速增長1、AI應(yīng)用專題之一：百花齊放，靜待殺手級別應(yīng)用?2、AI應(yīng)用專題之二：“情感陪伴”領(lǐng)域有望孵化殺手級應(yīng)用1、半導體芯片行業(yè)系列研究：中國邏輯芯片行業(yè)概覽?2、半導體芯片行業(yè)系列研究：中國存儲芯片行業(yè)概覽走進芯時代（77）：XR身處人文與科技十字路口，開啟空間計算時代走進芯時代（60）：AI算力GPU，AI產(chǎn)業(yè)化再加速，智能大時代已開啟走進芯時代（58）：高性能模擬替代漸入深水區(qū)，工業(yè)汽車重點突破走進芯時代（57）：算力大時代，處理器SOC廠商綜合對比走進芯時代（49）：“AI芯片”，AI領(lǐng)強算力時代，GPU啟新場景落地走進芯時代（46）：“新能源芯”，乘碳中和之風，基礎(chǔ)元件騰飛走進芯時代（43）：顯示驅(qū)動芯—面板國產(chǎn)化最后一公里走進芯時代（40）：半導體設(shè)備，再迎黃金時代走進芯時代（74）：以芯助先進算法，以算驅(qū)萬物智能?
以傳統(tǒng)三層架構(gòu)到葉脊架構(gòu)的轉(zhuǎn)變?yōu)槔~脊網(wǎng)絡(luò)架構(gòu)下，光模塊數(shù)量提升最高可達到數(shù)十倍。基于縮小網(wǎng)絡(luò)瓶頸考慮，大規(guī)模AI集群的網(wǎng)絡(luò)架構(gòu)需要滿足大帶寬、低時延、無損的需求。智算中心網(wǎng)絡(luò)架構(gòu)一般采用Fat-Tree（胖樹）網(wǎng)絡(luò)架構(gòu)，具有無阻塞網(wǎng)絡(luò)的特點。同時為避免節(jié)點內(nèi)互聯(lián)瓶頸，英偉達采用NVLink實現(xiàn)卡間高效互聯(lián)。對比PCIe，NVLink具有更高帶寬優(yōu)勢，成為英偉達顯存共享架構(gòu)的基礎(chǔ)，創(chuàng)造了新的GPU到GPU的光連接需求。A100：網(wǎng)絡(luò)結(jié)構(gòu)及光模塊需求測算每個DGX A100 SuperPOD基本部署結(jié)構(gòu)信息為：140臺服務(wù)器(每臺服務(wù)器8張GPU）+交換機（每臺交換機40個端口，單端口200G）；網(wǎng)絡(luò)拓撲結(jié)構(gòu)為IB fat-tree（胖樹）。關(guān)于網(wǎng)絡(luò)結(jié)構(gòu)的層數(shù)：針對140臺服務(wù)器，會進行三層網(wǎng)絡(luò)結(jié)構(gòu)部署（服務(wù)器-Leaf層交換機-Spine層交換機-Core層交換機），每層交換機對應(yīng)的線纜數(shù)分別為1120根-1124根-1120根。假設(shè)服務(wù)器和交換機之間采用銅纜，基于一條線纜對應(yīng)2個200G光模塊計算，GPU:交換機:光模塊=1:0.15:4；若采用全光網(wǎng)絡(luò)，GPU:交換機:光模塊=1:0.15:6。H100：網(wǎng)絡(luò)結(jié)構(gòu)及光模塊需求測算每個DGX H100 SuperPOD基本部署結(jié)構(gòu)信息為：32臺服務(wù)器(每臺服務(wù)器8張GPU）+12臺交換機；網(wǎng)絡(luò)拓撲結(jié)構(gòu)為IB fat-tree（胖樹），交換機單端口400G速率，可合并形成800G端口。針對4SU集群，假設(shè)為全光網(wǎng)絡(luò)、三層Fat-Tree架構(gòu)下，服務(wù)器和Leaf層交換機使用400G光模塊，Leaf-Spine和Spine-Core使用800G光模塊，則400G光模塊數(shù)量為32*8*4=256只，使用800G的數(shù)量為32*8*2.5=640只。即GPU:交換機:400G光模塊:800G光模塊=1:0.08:1:2.5。GH200：網(wǎng)絡(luò)結(jié)構(gòu)及光模塊需求測算針對單個GH200集群：256張超級芯片GPU互聯(lián)，采用2層fat-tree網(wǎng)絡(luò)結(jié)構(gòu)，其中兩層網(wǎng)絡(luò)均采用NVLink switch來完成搭建，第一層（服務(wù)器和Level 1交換機）之間使用了96臺交換機，Level 2使用了36個交換機。NVLink switch的配置參數(shù)為：每臺交換機擁有32個端口，每個端口速率為800G。由于NVLink 4.0對應(yīng)互聯(lián)帶寬雙向聚合是900GB/s，單向為450GB/s，則256卡的集群中，接入層總上行帶寬為115200GB/s，考慮胖樹架構(gòu)以及800G光模塊傳輸速率（100GB/s），800G光模塊總需求為2304塊。因此，GH200集群內(nèi)，GPU:光模塊=1:9。若考慮多個GH200互聯(lián)，參考H100架構(gòu)，3層網(wǎng)絡(luò)架構(gòu)下，GPU:800G光模塊需求=1:2.5；2層網(wǎng)絡(luò)架構(gòu)下，GPU:800G光模塊=1:1.5。即多個GH200互聯(lián)情況下，GPU:800G光模塊上限=1:（9+2.5）=1:11.5。隨著算力集群不斷提升網(wǎng)絡(luò)性能，高速光模塊需求彈性加大。以英偉達集群為例，加速卡所適配的網(wǎng)卡接口速率和其網(wǎng)絡(luò)協(xié)議帶寬密切相關(guān)，A100 GPU支持PCIe 4.0，最大支持單向帶寬為252Gb/s，即PCIe網(wǎng)卡速率需小于252Gb/s，因此搭配搭配Mellanox HDR 200Gb/sInfiniband 網(wǎng)卡；H100 GPU支持PCIe 5.0，最大支持單向帶寬為504Gb/s，因此搭配Mellanox NDR 400Gb/s Infiniband 網(wǎng)卡。所以，A100向H100升級，其對應(yīng)的光模塊需求從200G提升到800G（2個400G端口合成1個800G）；而GH200采用NVLink實現(xiàn)卡間互聯(lián)，單向帶寬提升到450GB/s，對應(yīng)800G需求彈性進一步提升。若H100集群從PCIe 5.0提升到PCIe 6.0，最大支持單向帶寬提升到1024Gb/s，則接入層網(wǎng)卡速率可提升到800G，即接入層可使用800G光模塊，集群中單卡對應(yīng)800G光模塊需求彈性對應(yīng)翻倍。Meta此前發(fā)布“Research SuperCluster”項目用于訓練LLaMA模型。RSC項目第二階段，Meta總計部署2000臺A100服務(wù)器，包含16000張A100 GPU，集群共包含2000臺交換機、48000條鏈路，對應(yīng)三層CLOS網(wǎng)絡(luò)架構(gòu)，若采用全光網(wǎng)絡(luò)，對應(yīng)9.6萬個200G光模塊，即A100:光模塊=1:6，與前文測算的A100架構(gòu)相同。針對LLaMA3的訓練，Meta使用了H100 GPU，包含IB和以太網(wǎng)集群，最大均可支持3.2萬張GPU。針對以太網(wǎng)方案，根據(jù)Meta披露的信息，其算力集群仍采用了有收斂的葉脊網(wǎng)絡(luò)架構(gòu)——每個機架2臺服務(wù)器，接入1個TOR交換機（采用Wedge 400），一個集群中有252臺服務(wù)器；Cluster交換機采用Minipack2 OCP機架交換機，一個集群中共使用18個Cluster交換機，推算收斂比為3.5:1；匯聚層交換機共18臺（采用Arista 7800R3），收斂比為7:1。集群主要采用400G光模塊，從集群架構(gòu)來看，以太網(wǎng)方案仍有待在協(xié)議層面進一步突破，推動無阻塞網(wǎng)絡(luò)的構(gòu)建，關(guān)注超以太網(wǎng)聯(lián)盟等進展。AWS推出了第二代 EC2 Ultra Clusters集群，包括H100 GPU和自研Trainium ASIC方案。AWS EC2 Ultra Clusters P5實例（即H100方案）提供3200 Gbps的聚合網(wǎng)絡(luò)帶寬并支持 GPUDirect RDMA，最大可支持2萬張GPU組網(wǎng)；Trn1n實例（自研Trainium方案）單集群16卡，提供1600 Gbps的聚合網(wǎng)絡(luò)帶寬，最大支持3萬張ASIC組網(wǎng)，對應(yīng)6 EFlops算力。?AWS EC2 Ultra Clusters卡間互聯(lián)分別采用NVLink（H100方案）和NeuronLink（Trainium方案），集群互聯(lián)采用自研EFA網(wǎng)絡(luò)適配器。對比英偉達方案，AWS自研Trainium ASIC集群單卡上行帶寬推算為100G（1600G聚合帶寬/16卡=100G），因此AWS目前架構(gòu)中暫無800G光模塊需求。Google算力集群架構(gòu)及應(yīng)用Google最新的算力集群由配置為三維環(huán)面的TPU陣列組成。一維環(huán)面對應(yīng)每個TPU連接到相鄰的2個TPU，二維環(huán)面為2個正交的環(huán)，對應(yīng)每個TPU連接到相鄰的4個TPU；目前谷歌TPUv4即三維環(huán)面，每個TPU連接到6個相鄰的TPU。基于此，每個機柜內(nèi)部構(gòu)建4*4*4=64顆TPU的3D網(wǎng)絡(luò)結(jié)構(gòu)。3D結(jié)構(gòu)的外表部分連接到OCS，則一個4096顆TPU互聯(lián)對應(yīng)64個機柜、48個OCS交換機即48*64=6144個光模塊，內(nèi)部則采用DAC連接（18000條），則對應(yīng)TPU:光模塊=1:1.5。在OCS方案下，光模塊需要采用波分復(fù)用方案，并增加環(huán)形器（Circulator）減少光纖數(shù)量，其光模塊方案具有定制化特征（800G VFR8）。【終稿】2024年中國AR產(chǎn)業(yè)發(fā)展洞察研究
AI的內(nèi)存瓶頸，高壁壘高增速（2024）
2024年AIGC發(fā)展趨勢報告
2、電源管理芯片行業(yè)概覽及研究框架
3、中國半導體系列報告：電源管理芯片行業(yè)概覽
4、電源管理芯片研究框架《HotChips 2023及歷年技術(shù)合集（匯總）》500+份重磅ChatGPT專業(yè)報告（合集）AI服務(wù)器催化HBM需求爆發(fā)，核心工藝變化帶來供給端增量（2024）服務(wù)器行業(yè)報告：AI和東數(shù)西算雙輪驅(qū)動，服務(wù)器在啟航（2024）新進封裝加速迭代，邁向2.5D 3D封裝（2024）1、人工智能專題研究（一）：大模型推動各行業(yè)AI應(yīng)用滲透?2、人工智能專題研究（二）：AI大模型開展算力競賽，打開AI芯片、光模塊和光芯片需求缺口3、人工智能專題研究（三）：Gemini 1.0有望拉動新一輪AI產(chǎn)業(yè)革新，算力產(chǎn)業(yè)鏈受益確定性強?4、人工智能專題研究（四）：OpenAI發(fā)布Sora文生視頻模型，AI行業(yè)持續(xù)高發(fā)展本號資料全部上傳至知識星球，更多內(nèi)容請登錄智能計算芯知識（知識星球）星球下載全部資料。
免責申明：本號聚焦相關(guān)技術(shù)分享，內(nèi)容觀點不代表本號立場，可追溯內(nèi)容均注明來源，發(fā)布文章若存在版權(quán)等問題，請留言聯(lián)系刪除，謝謝。
溫馨提示：
請搜索“AI_Architect”或“掃碼”關(guān)注公眾號實時掌握深度技術(shù)分享，點擊“閱讀原文”獲取更多原創(chuàng)技術(shù)干貨。
