本文來自“《阿里AI基礎設施：UPN512 技術架構白皮書》”，隨著算力超節點的演進，xPU Scale up 域不斷擴展，需要有新系統架構設計來解決上述可能遇到的問題和挑戰，包括光互連的成本、可靠性，以及大帶寬通信過程中的算力消耗。
為此，阿里云提出UPN（Ultra Performance Network）Scale up 網絡系統，繼承HPN（High Performance Network）Scale out 網絡的設計理念，將“大規模、高性能、高可靠、低成本、可擴展” 的設計思路應用到 Scale up 網絡域，解耦當前 Scale up 設計對于高密系統（類“小型機”）的依賴。
2025年超節點峰會合集
2025超節點數據中心峰會合集（1）
2025超節點數據中心峰會合集（2）
2025超節點數據中心峰會合集（3）
2025超節點數據中心峰會合集（4）
UPN架構的主要設計基于如下三點：
1、基于 High Radix 以太網。以太網生態成熟強大，單層設計可以做到最大512 xPU系統（未來支持到1K及以上），規模大、可擴展。
2、采用LPO/NPO光互連。通過光互連實現規模擴展，同時解耦高密機柜依賴（“小型機”->“X86”），降低高密系統高復雜度帶來的穩定性和運維挑戰。阿里云在光互連方面的技術積累和方案選擇，預計實現光互連成本30%以上降低，可靠性提升約3倍以上，使得低成本、高可靠的光互連方案成為可能。
3、基于單層交換的協議設計。單層交換設計可以使網絡協議設計盡量簡化，在此基礎上擴展定義網絡通信語義和在網計算，聚焦高性能的網絡通信并降低計算資源的消耗。
AI Rack銅互連緊耦合系統
以NVL72為代表的AI Rack架構充分利用了銅互連高可靠、低成本、低時延的優勢，將xPU通過高密線纜組件和交換芯片在機柜內進行互連組網，同時針對這樣的高功耗系統配套了高能效的集中供電系統和液冷方案，以機柜為單位可整體交付和部署，是當今主流的超節點系統方案。
AI Rack架構是構建百卡規模超節點的業界常規方案，但是也存在一些問題和局限性：
1、AI Rack 架構基于銅纜互連，由于銅互連需要在一定距離內才能保證性能，因此AI Rack架構需要將算力資源做到極致的緊湊，這樣對系統的設計帶來了非常大的挑戰，比如高密銅互連方案帶來的可制造性上的困難，高功率密度帶來的供電和制冷方案的挑戰，高度物理耦合的系統對于故障率和運維帶來的挑戰。
2、百卡以上至千卡的scale up域，由于距離限制，銅互連已經無法覆蓋，需要考慮光互連的方案。
UPN512單層光互連解耦系統
UPN512利用光互連連接XPU和交換機，通過單層CLOS網絡實現512個xPU的全互連（見圖4）。
xPU芯片和Switch芯片通過光電引擎(OE)實現光電轉化，從而利用光纖互連。理論上，光電引擎的具體形態可以是可插拔光模塊如FRO(Fully Retimed Optics)、LPO（Linear-drive Pluggable Optics），也可以是近封裝光模塊NPO（Near-packaged Optics）或是共封裝光引擎CPO（Co-packaged Optics），考慮到互連密度、成本、穩定性等因素，LPO和NPO是UPN512系統的優選方案，下文詳述。
設備物理形態上，由于光互連打破了距離限制，UPN512可以最大化地解耦設備和機柜，xPU和交換機都能夠回歸盒式的設備，同時機柜也沒有了限制，常規標準機柜即可支持部署。
全光互連
區別于AI Rack方案，UPN512采用全光互連代替銅互連。銅互連受限于連接的距離，通常限制在一個機柜內，而光互連可以輕松覆蓋幾十米、幾百米甚至更遠，不同互連介質可以覆蓋的距離如下表1。
在通用計算和xPU scale-out網絡上，FRO（帶DSP的可插拔光模塊）是光互連的主流方案。Scale up 網絡由于新的特點和要求，對于光互連方案的選擇需要重新考量。
（1）帶寬密度
xPU的scale-up網絡帶寬遠大于scale-out網絡帶寬，以英偉達的xPU為例，scale-up的帶寬是scale-out的9倍，幾乎是一個數量級的差別。更大的互連帶寬意味著更多的光纖通道和更大的光電引擎的帶寬。當xPU帶寬增大時，可插拔模塊在帶寬密度上會有受限。以典型的6.4T/112G scale-up xPU為例，6.4Tbps帶寬需要8個OSFP形態的800G可插拔模塊，4個xPU僅考慮 Scale up 光接口就需要消耗掉至少1U的面板空間。如果是12.8Tb/112G Scale up XPU，則需要16個OSFP可插拔模塊，4個xPU的scale-up光接口需要消耗掉2U的面板空間。
在一定的 Scale up 互連帶寬要求下，相比可插拔模塊，NPO/CPO由于本體不占用設備面板空間，且帶寬密度更高，能夠為系統設計提供更大的靈活性。
（2）時延、可靠性、成本、功耗
Scale up 網絡對于時延、可靠性、成本、功耗更為敏感，對于幾種光互連方案FRO光模塊在光電引擎外增加了DSP來支持更加惡劣的電通道和光通道，但DSP也導致了時延、功耗、成本的增加，同時降低了光模塊的整體可靠性，不適合 Scale up 場景。對于Scale up 場景的光互連方案來說去掉DSP采用線性直驅是強訴求。
LPO是可插拔模塊形態的線性直驅模塊，去除DSP，成本降低約30%，但非常依賴模塊和主芯片之間電通道性能以及主芯片的SerDes能力，系統設計上通常需要針對LPO做較大適配和妥協以保證通道性能，適用于主芯片SerDes能力較強，芯片帶寬適中的應用。LPO具備可插拔、低成本、標準化、多源性等優點，在系統和主芯片能夠滿足LPO性能的情況下是UPN512光互連的可行方案。
NPO能夠靠近主芯片，能夠降低對于主芯片SerDes的驅動/均衡能力的要求，對系統和主芯片的依賴性較小，更容易支持線性直驅。帶寬密度上相比LPO更高，成本更優，并且天然和主芯片解耦，容易標準化，是比較適合UPN512的光互連方案。
CPO相比NPO更加靠近主芯片，但是由于和主芯片合封，標準化和多源性差，是UPN512需要追求極致性能時的一種可選方案。
（3）系統可靠性和可用性
大多數 Scale up 網絡采用內存語義，其對通信通道的閃斷或者中斷較為敏感，我們將其稱為對系統可靠性的要求。硬件故障不可避免，當故障發生時需要快速更換和恢復，盡量減少故障組件離線的影響面也很重要，我們將這部分能力稱為可用性。下面比較 LPO/NPO/CPO 技術選擇對可靠性和可用性方面的考慮。
從可靠性角度，NPO/CPO方案的電通道極短，連接界面少，信號完整性顯著改善，并且將故障率高的光源和光電引擎解耦，單體和單鏈路的可靠性更高。而可插拔模塊連接界面多（主板連接器、籠子、模塊、外部跳線），潛在接觸不良、污染、插拔磨損、ESD等失效模式，并且電通道走線更長，信號完整性相比NPO/CPO要差，單體和單鏈路的可靠性不如NPO/CPO。
從可用性角度，UPN512架構本身的解耦設計是高可用設計的一部分，這使得故障單體的影響面更小，更換效率更高。此外，從光互連的技術選型上，可用性受單體的故障率和單鏈路的更換速度影響。
單層千卡域
單層網絡相比多層網絡能夠做到最簡拓撲和最短時延。實現單層千卡需要突破兩大物理限制：
（一）距離限制。采用光互連突破了距離的限制，使得scale up域不再局限到一個機柜內，百卡、千卡xPU可以分布到多個機柜內。
（二）芯片限制。交換芯片的Radix決定了網絡規模的上限，單層CLOS架構所能接入的xPU數量等于交換芯片的Radix。當前業內以太網交換芯片最大的Radix是512，而下一代會達到1024甚至更高。這就意味著用以太網交換芯片單層組網可以輕松構建512及以上的 xPUScale up 規模。
8、3+份技術系列基礎知識詳解（星球版）
9、12+份Manus技術報告合集
10、100+份AI芯片修煉合集
11、100+份AI Agent技術報告合集
… …
本號資料全部上傳至知識星球，更多內容請登錄智能計算芯知識（知識星球）星球下載全部資料。
免責申明：本號聚焦相關技術分享，內容觀點不代表本號立場，可追溯內容均注明來源，發布文章若存在版權等問題，請留言聯系刪除，謝謝。
溫馨提示：
請搜索“AI_Architect”或“掃碼”關注公眾號實時掌握深度技術分享，點擊“閱讀原文”獲取更多原創技術干貨。
