編者按：

Fungible 自主設(shè)計(jì)的TrueFabric網(wǎng)絡(luò)傳輸協(xié)議，是Fungible最核心的競(jìng)爭(zhēng)力，具有媲美RDMA/RoCEv2的性能以及接近TCP的穩(wěn)定性。

我們來(lái)共同學(xué)習(xí)。

轉(zhuǎn)自公眾號(hào)：軟硬件融合

參考文獻(xiàn)（Fungible白皮書）：

TrueFabric: A Fundamental Advance to the State of the Art in Data Center Networks

https://www.fungible.com/wp-content/uploads/2020/08/WP0033.01.02020820-TrueFabric-A-Fundamental-Advance-to-the-State-of-the-Art-in-Data-Center-Networks.pdf

Fungible TrueFabric：數(shù)據(jù)中心網(wǎng)絡(luò)技術(shù)的根本性改進(jìn)

作者：Fungible CEO，Pradeep Sindhu先生

Truefabric是基于開放標(biāo)準(zhǔn)的網(wǎng)絡(luò)技術(shù)，并且集成到Fungible DPU中。它旨在提高基于橫向擴(kuò)展原則構(gòu)建的數(shù)據(jù)中心的性能、經(jīng)濟(jì)性、可靠性和安全性，單個(gè)集群規(guī)模可以從幾個(gè)機(jī)架擴(kuò)展到數(shù)千個(gè)機(jī)架。它展示了八個(gè)基本的屬性：跨越多個(gè)數(shù)量級(jí)的可伸縮性、任意節(jié)點(diǎn)到任意節(jié)點(diǎn)橫截面帶寬、低可預(yù)測(cè)延遲、公平性、避免擁塞、容錯(cuò)、端到端軟件定義的安全性，以及使用開放標(biāo)準(zhǔn)來(lái)提供優(yōu)秀的經(jīng)濟(jì)性能。沒有任何現(xiàn)有技術(shù)在單個(gè)實(shí)現(xiàn)中提供所有這些屬性。因此，TruFabric打開了通往單一通用數(shù)據(jù)中心網(wǎng)絡(luò)的大門，該網(wǎng)絡(luò)可用于數(shù)據(jù)中心內(nèi)的所有網(wǎng)絡(luò)任務(wù)，最大化網(wǎng)絡(luò)的價(jià)值，并實(shí)現(xiàn)真正通用和強(qiáng)大的計(jì)算基礎(chǔ)設(shè)施。

1 介紹

橫向擴(kuò)展架構(gòu)已經(jīng)在數(shù)據(jù)中心中使用了近20年。這些架構(gòu)的優(yōu)點(diǎn)在Barroso、Clidarras和H?lzle的一篇題為“作為計(jì)算機(jī)的數(shù)據(jù)中心:倉(cāng)庫(kù)規(guī)模機(jī)器的設(shè)計(jì)介紹”的開創(chuàng)性論文中得到了描述。如今，毫無(wú)疑問(wèn)，幾乎所有的數(shù)據(jù)中心，無(wú)論是小型、中型還是大型，無(wú)論是公有還是私有，都以這種方式建立。橫向擴(kuò)展數(shù)據(jù)中心設(shè)計(jì)的基本思想是，數(shù)據(jù)中心中的所有服務(wù)器節(jié)點(diǎn)都通過(guò)可靠的高性能局域網(wǎng)連接。這允許數(shù)據(jù)中心提供的服務(wù)的實(shí)現(xiàn)方式是，由于故障或計(jì)劃中的事件導(dǎo)致的單個(gè)服務(wù)器的丟失不會(huì)危及服務(wù)本身。

雖然有一些特定的網(wǎng)絡(luò)技術(shù)，如Infiniband、Fiber Channel和RoCE，聲稱提供了數(shù)據(jù)中心結(jié)構(gòu)的一些屬性，但事實(shí)是，今天大多數(shù)橫向擴(kuò)展的數(shù)據(jù)中心使用以太網(wǎng)之上的TCP/IP作為事實(shí)上的互聯(lián)技術(shù)。TCP/IP發(fā)明于20世紀(jì)70年代，用來(lái)解決通過(guò)使用多種網(wǎng)絡(luò)技術(shù)建立的廣域網(wǎng)連接全球范圍內(nèi)的計(jì)算機(jī)的問(wèn)題。隨后，它被用于在數(shù)據(jù)中心內(nèi)提供服務(wù)器之間的連接，并且達(dá)到了前所未有的規(guī)模?？紤]到局域網(wǎng)的物理參數(shù)比廣域網(wǎng)的速度快三個(gè)數(shù)量級(jí)或更多，TCP/IP能起到的作用是很值得注意的，因?yàn)樗呀?jīng)堅(jiān)持了20多年了。對(duì)此的部分解釋是TCP軟件堆棧經(jīng)過(guò)了大量?jī)?yōu)化，以滿足對(duì)網(wǎng)絡(luò)日益增長(zhǎng)的需求。為某些TCP函數(shù)提供“卸載”的并行嘗試不是很成功，因?yàn)楹茈y在CPU和卸載引擎之間清晰地拆分TCP。

在過(guò)去的十年中，以太網(wǎng)接口和SSD設(shè)備的性能比通用CPU提高得更快。這一點(diǎn)很重要，因?yàn)榻^大多數(shù)TCP實(shí)現(xiàn)都運(yùn)行在這樣的CPU上的軟件中，因此它們不能滿足性能要求。在應(yīng)用程序方面，廣泛使用跨節(jié)點(diǎn)遠(yuǎn)程過(guò)程調(diào)用的“微服務(wù)”體系結(jié)構(gòu)現(xiàn)在已成為標(biāo)準(zhǔn)實(shí)踐。此外，許多新應(yīng)用程序需要訪問(wèn)必須跨服務(wù)器節(jié)點(diǎn)“分片”或分散的大數(shù)據(jù)集。應(yīng)用端的這兩方面的發(fā)展特征都增加了數(shù)據(jù)中心內(nèi)部的網(wǎng)絡(luò)流量?？偟膩?lái)說(shuō)，技術(shù)和應(yīng)用領(lǐng)域的發(fā)展共同給網(wǎng)絡(luò)棧的軟件實(shí)現(xiàn)帶來(lái)了巨大的壓力，特別是在以太網(wǎng)上的TCP/IP。因此，通用CPU計(jì)算能力的很大一部分都花在了與網(wǎng)絡(luò)的交互上，從而減少了應(yīng)用程序的可用資源。當(dāng)前的狀況是，將一切構(gòu)建在TCP/IP的軟件實(shí)現(xiàn)之上的辦法越來(lái)越難以為繼。

這些發(fā)展為TrueFabric作為單一的基于標(biāo)準(zhǔn)的網(wǎng)絡(luò)技術(shù)的引入奠定了基礎(chǔ)，從而推動(dòng)數(shù)據(jù)中心從橫向擴(kuò)展時(shí)代進(jìn)入以數(shù)據(jù)為中心的時(shí)代。

2 術(shù)語(yǔ)

在深入了解TrueFabric的細(xì)節(jié)之前，先定義一些基本術(shù)語(yǔ)是有幫助的。首先，我們?cè)诒疚闹幸员葮?biāo)準(zhǔn)行業(yè)實(shí)踐更精確的方式使用Fabric這個(gè)術(shù)語(yǔ)。我們用它來(lái)指滿足一組最低要求的互連技術(shù)：可伸縮性；完全的任意節(jié)點(diǎn)-任意節(jié)點(diǎn)橫截面帶寬；公平；可預(yù)見的低延遲；擁塞避免；和誤差控制。當(dāng)在現(xiàn)有技術(shù)約束下構(gòu)建橫向擴(kuò)展的基礎(chǔ)設(shè)施時(shí)，這些最低要求是基本的、不可避免的——也就是說(shuō)，CPU、內(nèi)存和IO接口等單個(gè)基本構(gòu)建塊的性能不能無(wú)限地提升。我們使用商標(biāo)術(shù)語(yǔ)TrueFabric是對(duì)Fungible技術(shù)的確認(rèn)，因?yàn)椤癋abric”這個(gè)詞已經(jīng)因?yàn)檫^(guò)度使用而變得毫無(wú)意義。然而，在本文中，我們將準(zhǔn)確地使用上面描述的大寫術(shù)語(yǔ)Fabric和商標(biāo)術(shù)語(yǔ)TrueFabric來(lái)具體指代可替換技術(shù)。

理想Fabric是一種具有無(wú)限橫截面帶寬和零節(jié)點(diǎn)到節(jié)點(diǎn)延遲的互連技術(shù)。然而，這種Fabric顯然是不可實(shí)現(xiàn)的?？蓪?shí)現(xiàn)的Fabric是可以以合理的成本實(shí)現(xiàn)的，同時(shí)提供Fabric的定義屬性。在可實(shí)現(xiàn)的Fabric中，每個(gè)節(jié)點(diǎn)以固定的帶寬連接，該帶寬獨(dú)立于Fabric中的節(jié)點(diǎn)數(shù)量(稱為可伸縮擴(kuò)展性的屬性)。Fabric的橫截面帶寬是有限的，但是隨著節(jié)點(diǎn)數(shù)量的增加而增加，而且根據(jù)物理定律，延遲是允許最小的。

還需要區(qū)分實(shí)現(xiàn)內(nèi)存模型的互連技術(shù)和實(shí)現(xiàn)網(wǎng)絡(luò)模型的互連技術(shù)。前者用于使用讀、寫原語(yǔ)和可能的緩存原語(yǔ)連接處理器到內(nèi)存；這些互連的帶寬和延遲要求都非常高，但規(guī)模必然有限。網(wǎng)絡(luò)互連用于使用發(fā)送和接收等網(wǎng)絡(luò)原語(yǔ)將整個(gè)服務(wù)器節(jié)點(diǎn)彼此連接；這些網(wǎng)絡(luò)互連的帶寬和延遲要求比較寬松，但規(guī)模可以非常大，可以包含多達(dá)一百萬(wàn)個(gè)節(jié)點(diǎn)。使用上述術(shù)語(yǔ)，TrueFabric是一個(gè)實(shí)現(xiàn)網(wǎng)絡(luò)模型的可實(shí)現(xiàn)Fabric。除了合并可實(shí)現(xiàn)Fabric的定義屬性之外，它還實(shí)現(xiàn)了兩個(gè)非常理想的附加屬性：它構(gòu)建在開放標(biāo)準(zhǔn)之上，并且支持強(qiáng)大的安全性。我們順便注意到，雖然TrueFabric是一個(gè)網(wǎng)絡(luò)互連，但它的性能已經(jīng)足夠好，可以使用RDMA在上面實(shí)現(xiàn)內(nèi)存模型。TrueFabric的所有特性都是通過(guò)基于標(biāo)準(zhǔn)UDP/ IP以太網(wǎng)的新型Fabric控制協(xié)議(FCP)實(shí)現(xiàn)的。

對(duì)于中小型規(guī)模，TrueFabric使用單層標(biāo)準(zhǔn)IP/Ethernet Spine交換機(jī)，其中服務(wù)器節(jié)點(diǎn)直接連接到Spine交換機(jī)。對(duì)于大規(guī)模，它使用兩層拓?fù)浣Y(jié)構(gòu)，由位于每個(gè)機(jī)架頂部的標(biāo)準(zhǔn)IP/Ethernet Spine交換機(jī)和標(biāo)準(zhǔn)IP/Ethernet Leaf交換機(jī)組成。在這種情況下，服務(wù)器節(jié)點(diǎn)連接到Leaf交換機(jī)。盡管當(dāng)前TrueFabric的最大部署中不需要使用超過(guò)兩層的交換機(jī)，但是FCP可以在包含三層或更多交換機(jī)的現(xiàn)有網(wǎng)絡(luò)上完美地運(yùn)行。

在接下來(lái)的內(nèi)容中，我們將把Leaf、Spine和任何更高的交換層統(tǒng)稱為網(wǎng)絡(luò)核心。網(wǎng)絡(luò)邊緣是TrueFabric在服務(wù)器節(jié)點(diǎn)內(nèi)部的Fungible DPU內(nèi)實(shí)現(xiàn)的端點(diǎn)。TrueFabric是網(wǎng)絡(luò)核心和網(wǎng)絡(luò)邊緣的集合。

下面的圖1顯示了一個(gè)TrueFabric部署的抽象視圖。有四種服務(wù)器類型的多個(gè)實(shí)例：CPU服務(wù)器、AI/數(shù)據(jù)分析服務(wù)器、SSD服務(wù)器和HDD服務(wù)器。每個(gè)服務(wù)器實(shí)例包含一個(gè)Fungible DPU，它以固定的帶寬(比如100GE)連接到網(wǎng)絡(luò)。雖然每個(gè)DPU只有一個(gè)100GE接口連接到網(wǎng)絡(luò)核心，但TrueFabric即使在最大的部署規(guī)模下，也能讓每個(gè)DPU之間都有一條專用的100GE鏈路。事實(shí)上，服務(wù)器無(wú)法進(jìn)行任何實(shí)驗(yàn)來(lái)揭示網(wǎng)絡(luò)核心與抽象圖中顯示的完整網(wǎng)格有任何不同。

圖1 TrueFabric的抽象示圖

3 TrueFabric的屬性

TrueFabric展示了構(gòu)建現(xiàn)代橫向擴(kuò)展數(shù)據(jù)中心的8個(gè)基本屬性：

• 可擴(kuò)展性：TrueFabric可以從使用100GE接口的小規(guī)模部署的服務(wù)器集群擴(kuò)展到使用200GE-400GE接口的數(shù)十萬(wàn)臺(tái)服務(wù)器的大規(guī)模部署。所有部署都使用相同的互連拓?fù)?，小型到中型部署使用單層Spine交換機(jī)，大型部署使用Spine層和Leaf層?？梢栽隽康?cái)U(kuò)展部署，而無(wú)需關(guān)閉網(wǎng)絡(luò)以實(shí)現(xiàn)真正的始終在線操作。

• 全截面帶寬：TrueFabric支持任何節(jié)點(diǎn)到任何節(jié)點(diǎn)的全截面帶寬，適用于標(biāo)準(zhǔn)IP以太網(wǎng)數(shù)據(jù)包大小，不限制所承載的流量的時(shí)間或空間特征。至關(guān)重要的是，TrueFabric支持短的、低延遲消息的高效交換，以支持服務(wù)器節(jié)點(diǎn)之間的頻繁交互式通信。這種類型的通信對(duì)于TCP是不可能的，因?yàn)門CP是一種字節(jié)流協(xié)議。另一方面，TCP可以非常有效地在FCP之上實(shí)現(xiàn)。

• 低延遲和低抖動(dòng)：TrueFabric提供節(jié)點(diǎn)之間的最小的端到端延遲，以及非常嚴(yán)格的尾巴延遲控制。節(jié)點(diǎn)之間的最小延遲意味著流量總是使用任意兩個(gè)節(jié)點(diǎn)之間的最短路徑。對(duì)尾部延遲的嚴(yán)格控制意味著，即使提供的負(fù)載利用率超過(guò)90%，99%的延遲也很少超過(guò)平均延遲的1.5倍。

• 公平性：在競(jìng)爭(zhēng)節(jié)點(diǎn)之間以微秒粒度公平分配網(wǎng)絡(luò)帶寬。此外，網(wǎng)絡(luò)帶寬還可以在由給定節(jié)點(diǎn)生成的流之間公平地分配。帶寬分配取決于IP包的標(biāo)準(zhǔn)服務(wù)質(zhì)量水平。

• 擁塞避免:TrueFabric有內(nèi)置的主動(dòng)擁塞避免，這意味著數(shù)據(jù)包基本上不會(huì)因?yàn)閾砣鴣G失，即使在非常高的負(fù)載下(大于90%)。值得注意的是，擁塞避免技術(shù)并不依賴于核心網(wǎng)絡(luò)交換機(jī)來(lái)提供任何與擁塞控制相關(guān)的特性。

• 容錯(cuò)：TrueFabric有內(nèi)置的檢測(cè)和恢復(fù)數(shù)據(jù)包丟失，因?yàn)槿魏晤愋偷木W(wǎng)絡(luò)故障，包括但不限于電纜切斷，交換機(jī)故障由于硬件或軟件故障，瞬態(tài)錯(cuò)誤導(dǎo)致交換機(jī)內(nèi)或在終端的數(shù)據(jù)包下降，瞬態(tài)或永久的光電子故障，以及不可避免的銅線或光纜上的隨機(jī)噪聲。FCP的錯(cuò)誤恢復(fù)比依賴于路由協(xié)議的傳統(tǒng)恢復(fù)技術(shù)快五個(gè)數(shù)量級(jí)。

• 軟件定義的安全和策略：TrueFabric支持基于AES標(biāo)準(zhǔn)的端到端加密。此外，可以通過(guò)軟件配置將給定的部署劃分為單獨(dú)的加密域，每個(gè)域?yàn)槠涔?jié)點(diǎn)提供任意對(duì)任意連接，但禁止從一個(gè)域的節(jié)點(diǎn)到另一個(gè)域的節(jié)點(diǎn)的通信。

• 開放標(biāo)準(zhǔn)：TrueFabric的FCP建立在基于以太網(wǎng)的標(biāo)準(zhǔn)IP之上，可以與以太網(wǎng)上的標(biāo)準(zhǔn)TCP/IP完全互操作。這允許使用現(xiàn)成的Spine和TOR交換機(jī)，也允許在一些服務(wù)器節(jié)點(diǎn)采用DPU，而其他節(jié)點(diǎn)不采用DPU。開放的標(biāo)準(zhǔn)還允許TrueFabric提供優(yōu)異的經(jīng)濟(jì)效益。

總的來(lái)說(shuō)，這八個(gè)屬性使得TrueFabric能夠?qū)M向擴(kuò)展的數(shù)據(jù)中心的性能、經(jīng)濟(jì)性、可靠性和安全性產(chǎn)生實(shí)質(zhì)性的優(yōu)化。它們?cè)趩我患夹g(shù)中的實(shí)現(xiàn)代表了數(shù)據(jù)中心網(wǎng)絡(luò)技術(shù)的根本性進(jìn)步。

性能和經(jīng)濟(jì)性改進(jìn)的部分原因是網(wǎng)絡(luò)本身的性能比現(xiàn)有網(wǎng)絡(luò)高出3倍以上，主要原因是它具有更高的網(wǎng)絡(luò)利用率，同時(shí)仍然提供出色的低延遲。雖然這是一個(gè)巨大的改進(jìn)，但網(wǎng)絡(luò)通常只占數(shù)據(jù)中心花費(fèi)的一小部分(約15%)，即使有如此大的改進(jìn)，數(shù)據(jù)中心運(yùn)營(yíng)商仍不傾向于在此投入。他們這樣做對(duì)自己是一種損害，因?yàn)榻^大多數(shù)的性能和經(jīng)濟(jì)性改善是由于TrueFabric，不是來(lái)自網(wǎng)絡(luò)的直接經(jīng)濟(jì)效益，并且間接來(lái)自于整個(gè)數(shù)據(jù)中心的計(jì)算和存儲(chǔ)資源池的有效利用。這樣可以減輕CPU的網(wǎng)絡(luò)負(fù)擔(dān)。TrueFabric實(shí)際上可以有效地解構(gòu)數(shù)據(jù)中心中的所有資源，如下面的圖2所示。

圖2 TrueFabric能夠有效地解構(gòu)幾乎所有的數(shù)據(jù)中心資源

我們將高效解構(gòu)大多數(shù)數(shù)據(jù)中心資源的能力稱為超解構(gòu)，而不是超融合——超融合是一種將資源定位在單一類型服務(wù)器內(nèi)的方法。在超融合方法中，節(jié)點(diǎn)內(nèi)部的CPU可以有效地使用本地資源，但這些資源不能跨服務(wù)器節(jié)點(diǎn)池。因此，資源使用的效率大大降低。通過(guò)比較企業(yè)數(shù)據(jù)中心(由于資源滯留導(dǎo)致利用率低于8%)與超大規(guī)模數(shù)據(jù)中心(通過(guò)部分分解達(dá)到利用率超過(guò)30%)的平均利用率，我們估計(jì)這種效率損失超過(guò)4倍。

數(shù)據(jù)中心的可靠性和安全性改進(jìn)是上面列出的幾個(gè)屬性的直接結(jié)果。首先，TrueFabric從根本上改善了數(shù)據(jù)中心網(wǎng)絡(luò)的可靠性：它通過(guò)完全避免擁塞而不是事后對(duì)擁塞做出反應(yīng)，從而消除了擁塞作為丟包的來(lái)源；它還可以從所有網(wǎng)絡(luò)硬件和軟件故障(包括多個(gè)故障)中恢復(fù)，確保可靠運(yùn)行，而無(wú)需承擔(dān)通常與此級(jí)別的可靠性相關(guān)的成本。因此，TrueFabic還從根本上提高了數(shù)據(jù)中心提供的服務(wù)的整體可靠性。第二，TrueFabric的性能特點(diǎn)意味著可以普遍使用糾刪碼來(lái)保護(hù)所有存儲(chǔ)的數(shù)據(jù)，特別是高性能存儲(chǔ)中的熱點(diǎn)數(shù)據(jù)。這使得我們可以大大提高存儲(chǔ)數(shù)據(jù)的可靠性，而不是創(chuàng)建多副本的成本。

在安全方面，TrueFabric支持?jǐn)?shù)據(jù)中心所有DPU-DPU流量的端到端加密。此外，在軟件控制下，支持DPU的服務(wù)器可以劃分為不相連的子集，每個(gè)子集形成一個(gè)單獨(dú)的加密安全域。此功能提供了最強(qiáng)大的安全性(除了在服務(wù)器組之間提供物理空隙之外)。

4 性能特征

在本節(jié)中，我們將介紹TrueFabric的性能特征，重點(diǎn)關(guān)注嚴(yán)重網(wǎng)絡(luò)擁塞的場(chǎng)景?，F(xiàn)有技術(shù)不能很好地處理這些場(chǎng)景。

4.1 高負(fù)載下的Fabric時(shí)延

圖3顯示了用于在重負(fù)載網(wǎng)絡(luò)條件下測(cè)試不同流量模式的模擬設(shè)置。該設(shè)置包含64個(gè)相同的機(jī)架，每個(gè)機(jī)架由16個(gè)DPU組成，連接到一個(gè)6.4Tbps TOR。TOR配置了32x100GE鏈路連接到DPU(每個(gè)DPU 2x100GE)和32x100GE鏈路連接到32個(gè)Spine，每個(gè)Spine 100GE——換句話說(shuō)，TOR和Spine層都是不會(huì)超額認(rèn)購(gòu)的。

圖3 高網(wǎng)絡(luò)負(fù)載下測(cè)試延遲的物理拓?fù)?/p>

我們測(cè)量了在三種不同的流量場(chǎng)景下，從發(fā)送DPU的網(wǎng)絡(luò)單元的輸入端口到接收DPU的輸出端口的端到端單向延遲：

• 一對(duì)一：每個(gè)DPU發(fā)送報(bào)文到另一個(gè)唯一的DPU。在這個(gè)場(chǎng)景中沒有擁塞。數(shù)據(jù)包大小從行業(yè)標(biāo)準(zhǔn)IMIX配置文件中挑選。

• 隨機(jī)目的地:每個(gè)DPU將其每個(gè)數(shù)據(jù)包發(fā)送到從1024個(gè)DPU中隨機(jī)抽取的DPU。在這種情況下，所有的數(shù)據(jù)包都被選擇為相同的大小(1KB)，以在目的DPU上均衡負(fù)載。

• 最大Incast：所有1024個(gè)DPU發(fā)送到一個(gè)接受者DPU——這是擁塞的極限測(cè)試。數(shù)據(jù)包大小從行業(yè)標(biāo)準(zhǔn)IMIX配置文件中挑選。下表顯示了這三種場(chǎng)景中的Fabric利用率、平均延遲、延遲方差和P99延遲。

三種情況下，F(xiàn)abric利用率均超過(guò)90%。平均延遲在1-2μs范圍內(nèi)；P99時(shí)延的絕對(duì)值在1 ~ 3μs范圍內(nèi)。值得注意的是，Spine和TOR交換機(jī)占了大約0.5μs的延遲預(yù)算，其余的在發(fā)送和接收DPU之間分布。最后，P99延遲與平均延遲的比率是1.16,1.57和1.02,分別。三種情況的延遲直方圖如下圖4所示:

圖4 三個(gè)流量場(chǎng)景的延遲直方圖

4.2 與RoCEv2在擁塞情況下的比較

我們比較了TrueFabric和RoCEv2在10:1 Incast條件下的性能。所比較的兩種配置是相同的，除了一個(gè)在10臺(tái)服務(wù)器上使用Mellanox ConnectX-5網(wǎng)卡，另一個(gè)在10臺(tái)服務(wù)器上使用Fungible的DPU。圖5顯示了設(shè)置:

圖5 設(shè)置TrueFabric與RoCEv2 10:1的Incast性能對(duì)比

第一組測(cè)量顯示了TrueFabric與RoCEv2在10:1 Incast下分配給每個(gè)發(fā)送方的瞬時(shí)帶寬隨時(shí)間的變化。參見下面的圖6。很明顯，TrueFabric提供給發(fā)送者的帶寬幾乎是相等的，而且隨著時(shí)間的推移也很穩(wěn)定。對(duì)于RoCEv2，跨發(fā)送者和跨時(shí)間的分布是高度可變的。

圖6 TrueFabric的帶寬隨時(shí)間變化

查看相同數(shù)據(jù)的另一種方法是在10:1 Incast場(chǎng)景下測(cè)量TrueFabric和RoCEv2的P99尾部延遲。TrueFabric的每個(gè)流的端到端應(yīng)用程序延遲為987μs, RoCEv2為16302μs，或者更高的16.5倍。圖7以直方圖的形式顯示了數(shù)據(jù)。

圖7 TrueFabric和RoCEv2之間的P99尾延遲比較

5 結(jié)論

在橫向擴(kuò)展數(shù)據(jù)中心中，服務(wù)器之間相互連接的網(wǎng)絡(luò)是以給定成本構(gòu)建最通用、最強(qiáng)大的計(jì)算設(shè)施的關(guān)鍵。這個(gè)網(wǎng)絡(luò)需要有一組屬性，這些屬性對(duì)于實(shí)現(xiàn)高性能、卓越的經(jīng)濟(jì)性、高可靠性和強(qiáng)安全性的目標(biāo)至關(guān)重要。在本文中，我們精確地定義了這些屬性，并解釋了它們?nèi)绾斡兄趯?shí)現(xiàn)高級(jí)目標(biāo)。

無(wú)論是當(dāng)前的TCP/IP以太網(wǎng)，還是InfiniBand、光纖通道和RoCEv2等更利基的技術(shù)，都不能完全提供前面確定的所有屬性。

TrueFabric是業(yè)界首次專注于提供基于開放標(biāo)準(zhǔn)的單一、統(tǒng)一的網(wǎng)絡(luò)技術(shù)，該技術(shù)具有在大范圍內(nèi)構(gòu)建高性能、經(jīng)濟(jì)、可靠和安全數(shù)據(jù)中心所需的所有屬性。因此，它代表了數(shù)據(jù)中心網(wǎng)絡(luò)技術(shù)水平的根本進(jìn)步。

< 長(zhǎng)按識(shí)別二維碼添加好友 >

加入上述群聊

長(zhǎng)按并關(guān)注

帶你走進(jìn)萬(wàn)物存儲(chǔ)、萬(wàn)物智能、

萬(wàn)物互聯(lián)信息革命新時(shí)代

微信號(hào)：SSDFans