400v直流配電！揭秘下一代AI服務器電源

從這篇文章你會學到：

• 增加計算密度的需求。

• 為滿足這一需求，下一代AI/ML超級計算機機架向±400V直流配電的演變。

• 采用±400V直流分布式電源的挑戰和解決方案。

  
  

盡管底層芯片的性能突飛猛進，但AI訓練正在推動數據中心的功率范圍。最新的斯坦福AI指數報告顯示，最先進的AI模型正在變得越來越大，達到了1萬億個參數和15萬億個token。

因此，模型訓練需要更多的時間和資源（長達100天和380億PFLOPS），而訓練成本繼續上升（高達1.92億美元）。訓練這些模型所需的功率是多少？超過2500萬瓦。

亞馬遜、谷歌、Meta和微軟等科技巨頭正在轉向核能，以跟上用于訓練和運行AI的巨大電力。但是，為他們龐大的數據中心提供大量可靠的電力只是戰斗的一半。真正的問題出現在服務器機架內部，其中電力電子設備與處理器、內存和網絡硬件在有限的空間內競爭。隨著功率密度的上升，有效地管理這種內部分布已成為一個關鍵問題。

《電子設計》雜志的James Morra?與Vicor公司戰略營銷VP Maury Wood討論了電力和計算之間的拉鋸戰，Maury說解決這個問題很簡單，只要把它們分開就行了。

數據中心的底層架構如何改變以解決AI困境？

首先，系統設計人員正在努力提高計算密度，在EIA標準的19英寸寬（或OCP標準21英寸寬）數據中心服務器機架中，計算密度可以用每liter?PFLOPS來衡量。1?PFLOP運算相當于每秒進行1千萬億次浮點運算。

一個相關的問題是，“為什么更高的計算密度有助于減少訓練這些大型AI模型的運營成本？”簡而言之，這是因為處理器間內存帶寬和非最佳延遲是性能的瓶頸。大型模型訓練需要大量的低延遲內存和非阻塞的“全對全”網絡結構，以支持AI集群或“superpod”內數十個處理器的共享訪問。

將處理器、內存和網絡交換機置于機架中更近的物理距離，可以增加帶寬，減少整體處理器間通信延遲，減少AI模型的訓練時間。具體來說，單個機架定義的較短距離允許使用無源銅電纜代替有源光收發器，由于使用嵌入式計時器和DSP，有源光收發器更昂貴、更耗電。

典型的800G QSFP-DD和OSFP收發器功耗約為15w。因為這些超級計算機使用了數以萬計的光收發器，所以移除所有這些組件所節省的電力和成本是顯著的——每個機架可節省20千瓦。

為了在計算密度與功耗成本之間取得平衡，還采取了哪些措施？

下一代AI超級計算機已經從風扇強制風冷演變為液冷。“這如何有助于提高計算密度？”上一代，每個8處理器托盤有10個80mm風扇和一個大散熱器，8處理器托盤上總共有8個機架單元（RU），每個機架單元一個GPU。

下一代采用直接液冷，采用低規格的水塊冷板，每個RU托盤配置2個CPU和4個GPU。這相當于處理器密度增加了4倍（每個RU四個GPU）。

液冷還消除了噪音，并減輕了這些系統中高轉速12v直流風扇所消耗的大量功率。此外，通過保持較低的封裝外殼和硅結溫度，直接液冷可以增加AI處理器的平均故障間隔時間。據報道，風冷AI訓練系統的平均故障間隔時間相對較短，增加了停機時間和運營成本。與風冷計算機相比，液冷計算機系統通常也可能具有更高的時鐘速率。這兩種結果都減少了AI模型訓練的時間和成本。

還做些什么來提高數據中心的計算密度？功耗扮演著什么角色？

在上一代和當代AI服務器機架中，使用三相480V交流（有時是416V交流）配電到機架，高達30%的機架空間被AC-DC整流、DC-DC轉換為54V DC、電池備用單元（BBU）、電容器架子和不間斷電源（UPS）所消耗。

為了提高計算密度，并有效地處理機架消耗高達140千瓦或更高的前景，超大規模廠商現在提倡向下一代AI超級計算機機架發展到±400V直流分布。

其愿景是將整流、BBU和UPS功能從48RU機架中移除，為額外的計算和網絡托盤騰出空間。在機架寬度為600mm、深度為1068 mm、高度為2236 mm的情況下，計算密度為36個CPU和72個GPU，每48RU的計算能力約為720?PFLOPS。這種新的系統架構將計算密度提高到每liter訓練性能約0.5?PFLOPS。

更重要的是，以更低的成本獲得更高的AI訓練性能的需求將推動計算密度，并隨后推動±400V直流配電的采用。

AI服務器機架的±400V直流配電如何降低系統功耗和成本？

數據中心現有的480v交流配電通常集中BBU和UPS功能，大型BBU/UPS單元通過配電裝置(PDU)支持多個AI/ML機架。

因為這些獨立的二合一設備接收交流電，它們必須轉換成直流電來維持電池充電。BBU/UPS還必須將電池輸出轉換回交流，這種交流-直流再直流-交流的雙重轉換過程不僅會降低電源利用率，還會增加硬件成本。±400V直流配電時，BBU或UPS不需要交直流整流功能。

AI數據中心±400V直流配電有哪些挑戰？

400V直流電壓不是安全特低電壓（SELV）水平，因此提出了必須管理的安全和監管問題。另外，為了保留800V直流供電的選擇，每個機架必須接3根導線（?400V、GND、+ 400V），這增加了成本。

假設每個AI機架功率為140 kW，則在400V?DC時電流為350A，在800V?DC時電流為175A。高達350A的電流可能需要500 MCM規格的銅電纜（75°C時容量為380 A），而175 A的電流可能需要3/0 AWG銅電纜（75°C時容量為200 A）。一根500MCM規格的銅電纜用于400v直流配電的成本約為每英尺14美元，一根3/ 0?AWG的銅電纜用于800V直流配電的成本約為每英尺5美元。在大型數據中心，電纜成本相差近3倍是非常顯著的。

成本增量有利于800-V直流分布，但由于電動汽車使用400-V直流，800-V生態系統不如400-V生態系統成熟。然而，汽車制造商正在迅速向800V電池和DC-DC轉換器過渡，因此成本問題是動態的。

最大的挑戰之一是處理機架內的高電流水平。假設使用1:8固定比例的DC-DC轉換器將標稱400V?DC轉換為標稱50V?DC，在140 kW時，轉換產生50V?DC時的2,800A。這需要單個鍍銀銅母線，橫截面積約為1,600 mm2，以實現風冷母線所需的容量。這種橫截面積的2.1米長的母線可能具有5μΩ的電阻，并且在20攝氏度下、2,800 A時可能耗散高達45 W的功率。

潛在解決方案是什么，電力電子設備如何發揮作用？

但是，可以使用現有的機架內液冷基礎設施對垂直母線進行液冷，并大大減少其風冷截面積，最多可減少5倍（電阻和功耗隨溫度增加）。這代表了顯著的成本和重量節約。

母線的液體冷卻還可以對母線上的最大電壓降提供更嚴格的控制。這減少了中間總線轉換器的輸入電壓范圍和CPU/GPU加速計算模塊和網絡ASIC交換模塊的負載點電壓調節負擔。請注意，在處理數千安培的載流能力時，50V直流連接器的選擇也變得更加關鍵，以確保最小的熱損失。

OCP開放機架V3規范和ORv3 HPR（高功率機架）規范是業界為解決當前和下一代AI超級計算機功率和熱工程帶來的工程挑戰而做出的努力。設計下一代AI超級計算機系統將繼續涉及一系列復雜的工程和經濟權衡。

具有低熱阻和可直接與液冷冷板配套的共面表面的高密度功率模塊將在實現AI超級計算機數據中心機架的高壓直流配電方面發揮關鍵作用。