Q：NVIDIA Spectrum-X800 平臺是什么，能否詳細介紹一下？
A：
NVIDIA Spectrum-X800 平臺是業(yè)界第一代 800Gb/s 的以太網網絡平臺，包括了 NVIDIA Spectrum SN5600 800Gb/s 以太網交換機和 NVIDIA BlueField-3 SuperNIC，為多租戶生成式 AI 云和大型企業(yè)級用戶提供了各種至關重要的先進功能。其核心結構是交換機 + SuperNIC（超級網卡）+ LinkX + DOCA 軟件開發(fā)包 + NCCL 集合通信庫。
大模型的發(fā)展推動了 AI 云的爆發(fā)性增長，由于資金、經驗、時間、能耗等因素的影響，很多 AI 用戶選擇通過云的方式解決算力問題。如何快速構建 AI 云，在云上提供高性能的算力資源，保障多用戶上云和運行業(yè)務的安全性，避免多用戶運行多任務時的互相干擾導致業(yè)務性能降低，是當前 AI 云提供商首要考慮的問題。NVIDIA Spectrum-X800 通過優(yōu)化網絡性能，加快 AI 工作負載的處理、分析和執(zhí)行速度，進而縮短 AI 解決方案的開發(fā)、部署和上市時間。Spectrum-X800 專為多租戶環(huán)境打造，實現了每個租戶的 AI 工作負載的性能隔離，使業(yè)務性能能夠持續(xù)保持在最佳狀態(tài)，提升客戶滿意度和服務質量。
NVIDIA Spectrum-X800 平臺的出現是生成式 AI 云發(fā)展的必然趨勢，AI 云的出現徹底顛覆了數據中心對于網絡的需求。傳統(tǒng)的數據中心運行的任務多，但是單任務的算力需求不大，任務的耦合性不強，網絡的性能對于業(yè)務的影響不大。但是大模型的出現，替代了大量的傳統(tǒng)任務，All In AI 成為了很多云服務商和數據中心的追求目標，數據中心成為了運行少量的 AI 任務，但是每個 AI 任務的計算量都相當大，且每個計算單元之間的耦合性很強，網絡決定了數據中心的性能。Spectrum-X800 平臺是基于 NCCL 的全面 RoCE 端到端優(yōu)化平臺，涵蓋了對于 AI 訓練至關重要的動態(tài)路由（AR - Adaptive Routing）、可編程擁塞控制等技術和業(yè)務性能隔離技術等，可以充分發(fā)揮網絡的通信效率，擺脫了以太網難擴展的桎梏，保障了云上任務的性能和安全性。
Q：大神們介紹下 NVIDIA Quantum-X800 平臺？
A：
NVIDIA Quantum-X800 平臺是業(yè)界第一代 800Gb/s 的端到端高性能網絡平臺，包括了 NVIDIA Quantum Q3400 交換機和 NVIDIA ConnectX?-8 SuperNIC，它的出現，樹立了 AI 專用基礎設施極致性能的新標桿。其核心結構是：交換機 + SuperNIC（超級網卡）+ PCIe 交換機 + LinkX + 網絡計算引擎 + NCCL 集合通信庫。
大模型的發(fā)展推動著算力的不斷提升，同時降低算力功耗的需求也已經變得更為苛刻。如何在提升計算性能同時，又能降低能源的消耗，更高性能的? GPU 和網絡是構建新型 AI 基礎設施的關鍵。NVIDIA Quantum-X800 平臺是專為 NVIDIA Blackwell 架構產品的 Scale Out 而量身打造，為超過萬億參數級的 GPU 計算和 AI 基礎設施進行了全面的優(yōu)化，相比上一代計算平臺實現了性能的大幅提升，同時在同等算力的前提下又實現了功耗的大幅降低。
Quantum-X800 是 Quantum-2 平臺的下一代產品，在 Quantum-2 平臺的基礎之上，進一步提升了端口的速度、交換機端口的密度、網絡計算的能力、以及在軟件上和業(yè)界流行的通信框架上進行了更深層優(yōu)化，單交換機可支持 144 個 800GB/s 端口，實現了 FP8 的網絡計算，SuperNIC 內置 PCIe6.0 交換機，可直連 GPU 和 CPU，擺脫了 GPU 和網絡之間的通信需要依賴于 CPU 或者 PCIe 交換機總線帶寬的限制，大幅提升了 AI、數據處理和高性能計算的性能。
Quantum Q3400 平臺可以支持 14.4TFlops 的網絡計算能力（SHARPv4），是上一代交換機的 9 倍，可以卸載 GPU 和 CPU 的計算類集合通信；Connect-X800 SuperNIC 可以通過內置 PCIe6.0 交換機直接與最新的 Blackwell 架構產品互連，提供 800Gb/s 的單端口網絡通信帶寬，僅用兩層網絡交換就可以支持 10,368 卡的 800Gb/s/GPU 互連或者 13,824 卡的 400Gb/s/GPU 互連，三層網絡可以支持超過 70 萬張卡的 800Gb/s/GPU 互連。
NVIDIA Quantum-X800 平臺實現了單端口性能的加倍，交換容量的 5 倍提升，網絡計算能力的 9 倍提升，為大模型訓練和生成式 AI 提供超強的性能。
NVIDIA 知乎精彩問答甄選往期精彩內容
更多精彩仍在繼續(xù)...?
敬請關注
