在全球 300 多家合作伙伴的支持下,Vera Rubin 正加速在全球范圍內(nèi)擴(kuò)大部署。CoreWeave、Google Cloud、Microsoft Azure 和 Mistral 等 NVIDIA 合作伙伴正紛紛部署 Vera Rubin,該平臺在每瓦性能和最低 Token 成本方面樹立了基準(zhǔn)測試的新標(biāo)桿。
NVIDIA Vera Rubin 正式登場,正邁向十億瓦級規(guī)模部署。
Vera Rubin NVL72 的量產(chǎn)正全面加速,CoreWeave、Google Cloud、Microsoft Azure 和 Oracle Cloud Infrastructure 等合作伙伴的機(jī)架已投入運(yùn)行。Vera Rubin 的供應(yīng)鏈覆蓋 30 個(gè)國家的 350 多家工廠,擁有迄今為止規(guī)模最大、最成熟的機(jī)架級供應(yīng)鏈,旨在全面滿足客戶的算力需求。
Vera Rubin 平臺從芯片到電網(wǎng)進(jìn)行了全棧協(xié)同設(shè)計(jì),旨在提供最高的每瓦性能和最低的 Token 成本。CoreWeave 針對 DeepSeek-R1 的首次基準(zhǔn)測試結(jié)果充分證明了這一點(diǎn):其每兆瓦吞吐量比 Grace Blackwell NVL72 提升了 10 倍——這直接切中了電力受限的 AI 工廠最關(guān)心的核心指標(biāo)。
通過極致協(xié)同設(shè)計(jì)提升性能
取得這一突破的關(guān)鍵在于七款芯片和五種機(jī)架托盤之間的極致協(xié)同設(shè)計(jì)。五種機(jī)架系統(tǒng)包括 Vera Rubin NVL72、Vera CPU 機(jī)架、Groq 3 LPX、Spectrum-6 SPX 和 Vera BlueField-4 STX。它們被作為一個(gè)完整的系統(tǒng)進(jìn)行工程研發(fā),而非由通用產(chǎn)品簡單拼湊而成。
NVIDIA Vera CPU 正是其核心所在。它重新定義了“AI 工廠 CPU”應(yīng)有的形態(tài)。專為智能體時(shí)代設(shè)計(jì),其定制 Olympus 核心相較競品的芯粒(chiplet)方案,單線程性能提升 2 倍、核間帶寬提升 3 倍、內(nèi)存延遲降低 40%,使其成為面向最關(guān)鍵智能體負(fù)載時(shí)最高效的單線程 CPU。
以專屬定制網(wǎng)絡(luò),加速 AI 工廠建設(shè)
在網(wǎng)絡(luò)方面,該平臺的第六代 NVLink 縱向擴(kuò)展技術(shù)在處理復(fù)雜工作負(fù)載時(shí),相比通用以太網(wǎng),吞吐量提升超過 2 倍、延遲降低 1/3、數(shù)據(jù)包處理速率提升 10 倍。在橫向擴(kuò)展方面,Spectrum-X 以太網(wǎng)集成 102.4T 的 Spectrum-6 交換機(jī)系統(tǒng)、1.6T 的 ConnectX-9 SuperNIC、自適應(yīng)路由、高級擁塞控制、遙測技術(shù)以及開放的操作系統(tǒng)支持,使其 RDMA 帶寬比通用以太網(wǎng)高出 1.6 倍。
包括 CoreWeave、微軟、SpaceXAI 和 Tesla 在內(nèi)的全球領(lǐng)先的 AI 基礎(chǔ)設(shè)施建設(shè)者率先采用 Spectrum-6 交換機(jī),以加速其 AI 工廠的建設(shè)。此外,采用 NVIDIA 光電一體化封裝(CPO)技術(shù)用于橫向擴(kuò)展,這是全球首款實(shí)現(xiàn)量產(chǎn)的同類型交換機(jī),與傳統(tǒng)可插拔收發(fā)器相比,其能效提升了 5 倍,平均無故障間隔時(shí)間(MTBI)提升了 10 倍。CoreWeave、Lambda 和 OCI 率先采用該技術(shù)。
Spectrum-XGS 以太網(wǎng)跨站點(diǎn)吞吐量提升 1.9 倍,實(shí)現(xiàn)跨站點(diǎn)性能增強(qiáng)。滿足十億瓦級 AI 工廠的建設(shè)不再局限于單一建筑的需求。
同時(shí),NVLink Fusion 向第三方 XPU 開放了 NVIDIA 基礎(chǔ)設(shè)施平臺,為合作伙伴能夠借助成熟的 NVLink 縱向擴(kuò)展堆棧和生態(tài)系統(tǒng),實(shí)現(xiàn)產(chǎn)品的快速上市。
節(jié)省部署時(shí)間,節(jié)約水資源
經(jīng)過三代機(jī)架級協(xié)同設(shè)計(jì)的迭代,NVIDIA 打造出的 Vera Rubin NVL72 系統(tǒng)實(shí)現(xiàn)了托盤內(nèi)無電纜、無風(fēng)扇、無液冷軟管的極簡設(shè)計(jì),將計(jì)算托盤的組裝時(shí)間從過去的數(shù)小時(shí)大幅縮短至僅需 1 分鐘。
45 攝氏度的液冷進(jìn)水溫度設(shè)計(jì),使得系統(tǒng)無需冷水機(jī)組,僅靠干式冷卻器即可運(yùn)行。對于新建的 AI 工廠而言,這種高溫干式冷卻結(jié)合閉環(huán)液冷系統(tǒng),每兆瓦每年可節(jié)省數(shù)百萬加侖的水資源。
NVIDIA Vera Rubin
驅(qū)動(dòng)歐洲開放模型時(shí)代
Vera Rubin 正為歐洲的 AI 基礎(chǔ)設(shè)施注入下一代性能。
Vera Rubin 也是微軟與 Mistral 新一輪深化合作的基石。該合作將前沿 AI 帶到了歐洲,把開放的歐洲模型與云環(huán)境及客戶管理的環(huán)境相結(jié)合,使各國政府和重點(diǎn)監(jiān)管行業(yè)能夠按照自身需求采用 AI 技術(shù)。
Mistral 正在擴(kuò)充其 GPU 算力,通過引入數(shù)千個(gè)最新的 NVIDIA Vera Rubin GPU,增加面向客戶的 AI 算力供給,并為訓(xùn)練、推理和大規(guī)模部署提供共享平臺。
NVIDIA Vera Rubin 正邁入全面量產(chǎn)階段。這款機(jī)架級 AI 超級計(jì)算機(jī)將七款協(xié)同設(shè)計(jì)的全新芯片整合為一個(gè)統(tǒng)一系統(tǒng),它將調(diào)用數(shù)萬個(gè) GPU,為新一代 Mistral Compute 和微軟歐洲的 AI 基礎(chǔ)設(shè)施提供動(dòng)力。
打造真正適配當(dāng)?shù)卣Z言、文化與法規(guī)的 AI 不應(yīng)要求組織在創(chuàng)新、經(jīng)濟(jì)效益與控制權(quán)之間做出取舍。以 Vera Rubin 為計(jì)算基礎(chǔ),依托微軟和 Mistral 提供的自主云基礎(chǔ)設(shè)施與歐洲開放模型,歐洲完全可以三者兼得。
CoreWeave 基準(zhǔn)測試顯示,
NVIDIA Vera Rubin 系統(tǒng)每兆瓦
Token 吞吐量達(dá) Blackwell 的 10 倍
通過與 NVIDIA 進(jìn)行極致的協(xié)同設(shè)計(jì),CoreWeave 正依托 Vera Rubin NVL72 實(shí)現(xiàn)數(shù)量級的性能躍升。
與 CoreWeave 等合作伙伴的緊密協(xié)作,對于將新一代 NVIDIA 加速計(jì)算成功部署至 AI 工廠至關(guān)重要。
經(jīng)過數(shù)月的聯(lián)合工程研發(fā),CoreWeave 成為首家完成 Vera Rubin NVL72 部署與驗(yàn)證的 AI 云服務(wù)提供商——他們首次公布了基于實(shí)際運(yùn)行硬件測得的性能數(shù)據(jù)。
CoreWeave 在 Vera Rubin NVL72 上運(yùn)行了 DeepSeek-R1 基準(zhǔn)測試。結(jié)果顯示,與 Grace Blackwell NVL72 相比,Vera Rubin NVL72 每兆瓦每秒 Token 吞吐量提升了 10 倍。
每兆瓦 Token 吞吐量是決定 AI 基礎(chǔ)設(shè)施能否實(shí)現(xiàn)大規(guī)模盈利的核心指標(biāo)。每兆瓦產(chǎn)出的 Token 越多,意味著在同等電力預(yù)算下能產(chǎn)出更多的智能算力,或者在顯著降低功耗的情況下處理相同的工作負(fù)載。Jane Street 等 AI 實(shí)驗(yàn)室和企業(yè)將采用 Vera Rubin 平臺,在 CoreWeave 云上擴(kuò)展其 AI 工廠。
NVIDIA Vera Rubin 系統(tǒng)
驅(qū)動(dòng)全新 Google Cloud A5X 實(shí)例,
助力 Ineffable Intelligence 發(fā)展
NVIDIA Vera Rubin NVL72 正在為 Google Cloud 的首個(gè) A5X 實(shí)例提供算力支持,該實(shí)例現(xiàn)已由倫敦初創(chuàng)公司 Ineffable Intelligence 率先采用。
Ineffable Intelligence 致力于開發(fā)新一代智能“Superlearner”系統(tǒng),該系統(tǒng)能夠通過經(jīng)驗(yàn)持續(xù)學(xué)習(xí),從而在各個(gè)領(lǐng)域?qū)崿F(xiàn)新的突破。
NVIDIA Vera Rubin NVL72 專為這類智能體訓(xùn)練而設(shè)計(jì),能夠提供可預(yù)測的低延遲、高利用率,以及遠(yuǎn)超上一代系統(tǒng)的單位智能算力產(chǎn)出。這使其成為大規(guī)模強(qiáng)化學(xué)習(xí)的理想平臺選擇。
在 Google Cloud Next 上發(fā)布的 Google Cloud A5X 實(shí)例是基于 NVIDIA Vera Rubin NVL72 機(jī)架級系統(tǒng)構(gòu)建的裸金屬實(shí)例。與上一代相比,其每 Token 推理成本降低至 1/10,每兆瓦 Token 吞吐量提升了 10 倍。
NVIDIA Vera CPU助力 DeepInfra AI 云
實(shí)現(xiàn)編排速度翻倍
DeepInfra 的基準(zhǔn)測試結(jié)果顯示,NVIDIA Vera CPU 的運(yùn)行速度是其他 CPU 的 2 倍以上,并且能夠支持更多并發(fā)的 AI 智能體。
作為 NVIDIA 開放 AI 生態(tài)系統(tǒng)的早期伙伴,云平臺 DeepInfra 基于其生產(chǎn)級 AI 智能體基礎(chǔ)設(shè)施,獨(dú)立設(shè)計(jì)并運(yùn)行了基準(zhǔn)測試。DeepInfra 每周處理近 5 萬億個(gè) Token,其中約 30% 由智能體系統(tǒng)驅(qū)動(dòng)。其云平臺專為高吞吐量的 AI 推理而打造。
基準(zhǔn)測試表明,在保持相同服務(wù)質(zhì)量的前提下,Vera CPU 支持的并發(fā) AI 智能體數(shù)量比其他 CPU多出高達(dá) 1.6 倍,編排速度快 2.2 倍,同時(shí)還能提高基礎(chǔ)設(shè)施的利用率和成本效益。這些結(jié)果充分證明,NVIDIA Vera CPU 能夠提供生產(chǎn)級智能體 AI 所需的成本效益、低延遲和高吞吐量。
DeepInfra 的基準(zhǔn)測試充分凸顯了 NVIDIA Vera CPU 如何幫助云服務(wù)提供商提升基礎(chǔ)設(shè)施利用率、提高成本效益,并在保持相同服務(wù)質(zhì)量的前提下支持更多并發(fā)的 AI 智能體。
以上為摘要內(nèi)容,點(diǎn)擊“閱讀原文”或掃描下方二維碼閱讀完整內(nèi)容:
