Napatech是全球領先的智能網卡(SmartNIC)和IPU解決方案供 應商，業務范圍涵蓋云計算、企 業和電信數據中心應用等領域。Napatech將商用級軟件套件與高 性能硬件相結合，致力于加速網絡 基礎設施、安全和存儲工作負載，從而實現一流的系統級性能，同時為應用和服務提供最大化的服務器計算資源。
作者
Charlie Ashton
Napatech?業務發展高級總監
Rich Howell
?英特爾產品營銷經理
越來越多的企業和云數據中心開始采用NVMe/TCP存儲技術，因為它在性能、時延、可擴展性、管理和資源利用率等方面優勢顯著。然而，在服務器上實施所需的存儲啟動器工作負載會帶來巨大的計算開銷，并限制可用于運行服務和應用的CPU內核數量。?
這篇解決方案簡介介紹了Napatech的集成式軟硬件解決方案如何將存儲工作負載從主機CPU卸載到IPU，同時在應用級別保持完整的軟件兼容性。
該解決方案釋放了主機CPU內核，避免其被存儲功能占用。它的性能明顯優于基于軟件的實施方案，可顯著降低數據中心的資本支出、運營支出和能耗。它還在系統中引入了安全隔離，增強了對網絡攻擊的保護，這有助于降低數據中心遭受安全漏洞和高價值客戶數據泄露的風險。
NVMe/TCP：面向現代化數據中心的卓越存儲技術
NVMe/TCP是一種存儲技術，它允許使用標準數據中心結構通過網絡訪問快速非易失性內存 (NVMe) 存儲設備。見圖1。
圖 1. 分散式存儲架構
越來越多的現代云和企業數據中心開始采用NVME/TCP，因為相比舊的存儲協議（如互聯網小型計算機系統接口 (iSCSI) 光纖通道），它擁有極具吸引力的優勢：
更高的性能：NVMe旨在充分利用基于NAND的現代高速固態盤 (SSD)，并提供比傳統存儲協議更快的數據傳輸速率。NVMe/TCP將這些優勢擴展到網絡存儲環境，允許數據中心通過網絡結構實現高性能存儲訪問。
更低的延遲：NVMe/TCP的低延遲特性對于數據密集型應用和實時工作負載至關重要。NVMe/TCP可以最大限度地減少通信開銷和消除協議轉換需求，幫助減少存儲訪問延遲并提高整體應用性能。?
可擴展性：數據中心經常處理大規模存儲部署，NVMe/TCP通過網絡提供靈活高效的存儲訪問解決方案，從而實現無縫的可擴展性。隨著NVMe設備數量的增長，數據中心可以在沒有明顯瓶頸的情況下保持高性能水平。
共享存儲池：NVMe/TCP允許創建可同時訪問多個服務器和應用的共享存儲池。這種共享存儲架構提高了資源利用率，簡化了存儲管理，大大節省了成本。
傳統基礎設施兼容性：數據中心的現有基礎設施通常建立在以太網、InfiniBand或光纖通道網絡上。NVMe/TCP允許他們利用現有的結構投資，同時集成創新的基于NVMe的存儲技術，而無需大幅調整整個網絡基礎設施。?
高效的資源利用：NVMe/TCP通過減少應用對每個服務器上專用存儲資源的需求，實現了更高的資源利用率。多個服務器可以通過網絡訪問共享NVMe存儲設備，從而優化使用昂貴的NVMe存儲資源。
面向未來：隨著數據中心不斷發展并采用更快的存儲技術， NVMe/TCP提供了一種前瞻性的存儲訪問方法，確保存儲網絡能夠滿足不斷增長的現代應用和工作負載需求。
純軟件存儲架構的限制
盡管NVMe/TCP在存儲方面具有顯著的優勢，但數據中心運營商必須意識到，在方案實施中，如果所需的所有存儲啟動器服務都在服務器的CPU上運行，這會帶來很大的局限性。見圖2。
圖 2. 基于軟件的網絡存儲
首先，如果存儲虛擬化軟件、管理程序或虛擬交換機 (vSwitch) 在網絡攻擊中受損，則會出現系統級安全風險。?
其次，無法確保租戶工作負載之間的完全隔離。單個架構在多租戶環境中托管多個客戶的應用和數據。當應用或虛擬機 (VM) 占用最多可用資源并降低共享基礎設施上其他租戶的系統性能時，就會出現“噪鄰”效應。
最后，運行基礎設施服務（如存儲虛擬化軟件、管理程序和vSwitch）需要很大一部分主機CPU內核。這減少了可用于虛擬機、容器和應用的CPU內核數量。報告指出，30%到50%的數據中心CPU資源通常被基礎設施服務消耗。?
在高性能存儲子系統中，主機CPU可能需要運行多個協議， 如傳輸控制協議 (TCP)、基于融合以太網的遠程直接內存訪問 (RoCEv2)、InfiniBand和光纖通道。當主機CPU被大量用于運行這些存儲協議和其他基礎設施服務時，租戶應用可用的CPU內核數量將大大減少。例如，16核CPU可能只能提供10核CPU的性能。?
由于這些原因和其他原因，純軟件架構給數據中心存儲帶來了重大的業務和技術挑戰。
基于IPU的存儲卸載解決方案
將NVMe/TCP工作負載卸載到IPU，以及其他基礎設施服務（如管理程序和vSwitch，見圖3），解決了純軟件實施方案的局限性，并為數據中心運營商帶來了顯著優勢：
CPU利用：NVMe/TCP通信需要將NVMe命令和數據封裝在TCP傳輸協議中，主機CPU處理則會這些封裝和解封裝任務。將這些操作卸載到專用硬件上可以讓CPU專注于其他關鍵任務，從而提高整體系統性能和CPU利用率。
更低延遲：將NVMe/TCP通信任務卸載到專用硬件可以顯著減少處理存儲命令的延遲。因此，在訪問遠程NVMe存儲設備時，應用可以體驗到更快的響應速度和更高的性能。?
高效數據移動：將非CPU應用任務卸載到獨立的硬件加速器上，可以比使用通用CPU更高效地執行數據移動操作。它可以有效地處理大數據傳輸和緩沖區管理，減少延遲并提高總體吞吐量。
更高的可擴展性：卸載NVMe/TCP任務可以提高大規模存儲部署的可擴展性。通過減輕CPU處理網絡通信的負擔，系統可以支持更多的并發連接和存儲設備，而不會受到CPU的限制。
高能效：通過將某些任務卸載到專用硬件，可以降低主機CPU的功耗。這種能效在大型數據中心環境中尤其重要，因為功耗是一個重要的考慮因素。
除了上述適用于NVMe/TCP存儲工作負載的優勢之外，基于IPU的系統架構還提供了增量安全隔離選項，從而將基礎設施服務與租戶應用隔離開來。這樣可以確保存儲、管理程序和vSwitch服務免受租戶應用發起的網絡攻擊。基礎設施服務是安全的，因為IPU本身的啟動過程是安全的；而IPU充當主機服務器的信任根。
圖 3. 支持IPU的分散式存儲
Napatech存儲卸載解決方案
Napatech為數據中心存儲卸載提供了一個集成的系統級解決方案，包括在F2070X IPU上運行的高性能Link-Storage軟件堆棧。見圖4。
圖 4. Napatech存儲卸載
Link-Storage軟件包含一套豐富的功能，包括：
將NVMe/TCP工作負載從主機完全卸載到IPU；
將TCP工作負載從主機完全卸載到IPU；
NVMe到TCP啟動器；
通過存儲性能開發套件遠程過程調用 (SPDK RPC) 接口進行存儲配置；
多路徑NVMe支持；
通過virtio- blk接口向主機顯示16塊設備；
兼容普通Linux* 發行版中的標準virtio-blk驅動程序；
主機CPU和IPU之間的安全隔離，沒有暴露于主機的網絡接口。
除了Link-Storage，F2070X還支持Link-Virtualization軟件，該軟件提供了一個卸載和加速的虛擬化數據平面，包括開放式vSwitch (OVS)、實時遷移、虛擬機到虛擬機鏡像、 VLAN/VxLAN封裝/解封裝、Q-in-Q、接收端擴展 (RSS) 負載均衡、鏈路聚合和服務質量 (QoS) 等功能。?
由于F2070X基于FPGA和CPU（而非ASIC），因此可以在部署后更新平臺的完整功能。無論是修改現有服務、添加新功能還是微調特定的性能參數，這種重新編程都可以純粹作為現有服務器環境中的軟件升級來執行，而無需斷開、移除或更換任何硬件。
基于英特爾F2000X-PL的Napatech F2070X IPU是一款2x100G PCIe卡，采用英特爾? Agilex 7 FPGA F系列和英特爾? 至強? D處理器，擁有全高半長 (FHHL) 雙插槽外形。請見圖5了解詳情。
圖 5. F2000X-PL結構圖
F2070X IPU的標準配置包括一個帶有四組4GB DDR4內存的英特爾? Agilex 7 FPGA AGF023和一個帶有兩組8GB DDR4內存的2.3 GHz英特爾? 至強D-1736處理器。可以提供其他配置選項來支持特定的工作負載。
F2070X IPU通過PCIe 4.0 x16 (16 GTps) 接口連接到主機，FPGA和處理器之間還有一個額外的PCIe 4.0 x16 (16 GTps) 接口。
兩個前面板QSFP28/56網絡接口支持以下網絡配置：
專用PTPRJ45端口提供與外部SMA-F和內部MCX-F接口的可選時間同步。支持IEEE 1588v2時間戳。?
專用的RJ45以太網連接器提供主板管理功能。安全的FPGA圖像更新支持在IPU部署完成后增加新功能或更新現有功能。?
處理器運行Fedora Linux，具有UEFI BIOS、PXE啟動支持、通過SSH進行完整shell訪問和UART。
總 結
越來越多的企業和云數據中心開始采用NVMe/TCP存儲技術，因為它在性能、時延、可擴展性、管理和資源利用率等方面優勢顯著。然而，在服務器的主機CPU上實施所需的存儲啟動器工作負載會帶來巨大的計算開銷，并限制可用于運行服務和應用的CPU內核數量。
Napatech的集成式軟硬件解決方案包括在F2070X IPU（圖6）上運行的Link-Storage軟件堆棧，通過將存儲工作負載從主機CPU卸載到IPU來解決此問題，同時在應用級別保持完整的軟件兼容性。
圖 6. Napatech F2070X IPU
Napatech的存儲卸載解決方案釋放了主機CPU內核，避免其被存儲功能占用。它的性能明顯優于基于軟件的實施，可顯著降低數據中心的資本支出、運營支出和能耗。?
Napatech解決方案還在系統中引入了安全隔離，增強了對網絡攻擊的保護，這有助于降低數據中心遭受安全漏洞和高價值客戶數據泄露的風險。
