
Atlas 900 A3 SuperPoD 超節點滿足行業智算中心等高性能、高能效液冷訓練集群的需求,提供業界AI最佳集群方案。Atlas 900 A3 SuperPoD 超節點的設備物理形態主要包含計算柜和總線設備柜,產品配置靈活,通過外部靈衢總線設備LingQu 630 V1組成2層胖樹靈衢超節點網絡。

組網拓撲
Atlas 900 A3 SuperPoD 超節點網絡采用華為自研的靈衢網絡和靈衢總線設備構成。
靈衢網絡采用LQC協議(LQC:靈衢總線中的華為緩存一致性互聯接口協議。支持多個芯片的緊耦合,極致低時延互聯。LQC可以看做是處理器內部SoC總線的向外的直接延伸。)承載超節點內部通信,并通過7個平面組網獲得更大的帶寬。靈衢網絡L1層由計算節點的靈衢總線板承載,L2層通過總線設備柜中的靈衢總線設備(靈衢交換機)LingQu 630 V1組成,L1-L2分別通過銅纜或者光纖組成不同規模的超節點集群。
Atlas 900 A3 SuperPoD 超節點支持多種配置組網(如64超節點、96超節點、192超節點和384超節點等)。不同的客戶根據實際需求配置組網,此處以配置384超節點為例介紹其具體組網方案。
384超節點光互聯架構:主要由一套總線設備柜內的靈衢總線設備(56臺)和多套計算柜內計算節點(48臺)通過光纖實現全互聯組網(物理架構384,實際部署數量取決于解決方案可靠性冗余設計)。

Atlas 900 A3 SuperPoD 超節點采用高效供電技術方案。
AI集群功耗大,對供電效率有很高的要求,需要電源轉換效率高,線路損耗小,機房采用業界可獲取的標準設備。因此Atlas 900 A3 SuperPoD 超節點采用380V AC供電,通過機柜內的雙輸入PSU將節點電源轉換為48V(實際供電約為54V),在節點內向AI模組進行高效供電。

計算柜是超節點的基礎單元,具有超節點架構、多檔位配置等特點。當組網不涉及總線設備柜,計算柜就是Atlas 900 A3SuperPoD 超節點。

系統架構
AI系統采用2層胖樹組網,含LQC和RoCE兩種組網,其中LQC組網有柜內組網和跨柜組網兩種組網方式。
● LQC組網:每個計算節點有7個LQC網絡,分別是L1-1~L1-7,分屬于四塊網絡交換板。
● RoCE組網:每個計算機框有1個RoCE網絡,從混合交換板引出,在任意規模的集群上都是跟外部L2標準交換機互連組成集群大網。

管理系統
計算柜管理系統包括計算節點iBMC管理系統、機柜管理系統。下圖僅為示例,具體架構圖以客戶實際組網為準。

計算節點管理BMC通過GE管理網口上行匯聚到交換機,上行到數據中心管理平面的網管軟件,如CCAE或第三方網管等,同時通過交換機連接到機柜管理模塊RM211。
機柜管理模塊RM211通過CAN連接電源模塊PSU,通過交換機上行到數據中心管理平面的網管軟件,如CCAE或第三方網管等。
靈衢總線

平板液冷門

計算節點
基于華為自研鯤鵬920處理器、昇騰910 AI處理器、交換芯片和CDR(Clock and Data Recovery,主要用于擴展信號傳輸距離,保障信號傳輸質量)芯片的AI計算節點,滿足行業智算中心、大企業和華為云等高性能、高能效液冷訓練集群的需求,提供業界AI最佳集群方案,以算力、網絡和集成度業界領先為目標,結合工程優勢持續構筑AI集群硬件競爭力。



靈衢總線設備
LingQu 630 V1是一款靈衢總線交換設備,為計算節點提供高速網絡連接,通過與各個模塊互聯實現內部數據報文和控制管理報文的交換,為用戶提供高速數據傳輸,對外提供48個QSFP-DD(48*2*200G,LQC)接口,具有高性能、高帶寬、低延遲等特點。

● 兩個交換芯片分別出一個200G到每個端口組成一個400G QSFP-DD端口。
● LingQu 630 V1支持面板側進風和出風,支持正裝倒裝。
● 電源使用標準一次電源模塊,支持220AC/240DC、±48V輸入。
● LingQu 630 V1最大功耗為1200W
Atlas 900 SuperPod支持算網融合,滿足單柜32*昇騰910 AI處理器+電源。支持柜內網口匯聚,簡化機房部署:交換機網口匯聚、支持BMC網口匯聚、帶內管理網口匯聚。
機柜管理模塊與計算節點帶外獨立的BMC管理GE接口以及交換管理口,匯聚到機柜內GE交換機,交換機通過前面板的兩個10GE接口與機房側交換機互聯,上行到數據中心管理平面的網管軟件,如CCAE或第三方網管等。
———— 分割線 ————
本號資料全部上傳至知識星球,更多內容請登錄智能計算芯知識(知識星球)星球下載全部資料。

免責申明:本號聚焦相關技術分享,內容觀點不代表本號立場,可追溯內容均注明來源,發布文章若存在版權等問題,請留言聯系刪除,謝謝。
溫馨提示:
請搜索“掃碼”加入星球,點擊“閱讀原文”獲取更多原創技術干貨。

