揭秘！世界第一個采用CXL3.1交換機的AI集群

在2024?OCP全球峰會上，開發CXL交換機SoC和CXL IP的韓國無晶圓廠初創公司Panmnesia展示了第一個支持CXL的AI集群，該集群采用CXL 3.1交換機。

3

OCP全球峰會由世界上最大的數據中心硬件開發委員會OCP主辦。在活動期間，全球相關公司將討論如何構建具有成本效益和可持續性的數據中心IT基礎設施的解決方案。在今年特別關注AI相關主題的活動中，Panmnesia展示了其支持CXL的AI集群，以加速用于ChatGPT等服務的下一代人工智能應用RAG，擴大其全球客戶群。

AI競爭的加劇凸顯了CXL的必要性

鑒于AI服務的重要性日益增加，企業正在努力提高其AI服務的質量。近年來，人們不斷嘗試提高準確率，特別是通過增加AI模型的規模或利用更多的數據。這導致企業對內存的需求增加。為了增加內存容量，企業通常會增加更多的服務器。但是，增加更多的服務器會給公司帶來不必要的支出，因為它們需要購買內存本身之外的一系列服務器組件。

這就是下一代連接技術CXL發揮作用的地方。與前一種方法相比，CXL提供了一種擴展內存的新方法。使用CXL，公司只需要購買內存和CXL設備，而不需要花錢購買額外的服務器組件。因此，CXL吸引了一些大型IT公司的興趣，這些公司一直遭受著與低效內存擴展相關的成本困擾。

AI的CXL解決方案

在CXL獲得全球關注的同時，Panmnesia也因其在CXL技術開發方面的領導地位而吸引了業界的興趣。該公司首次在2022年USENIX年度技術會議上推出了世界上第一個帶有CXL 2.0交換機的完整系統框架“DirectCXL”，引起了人們的關注。該公司在2023超級計算展覽會上推出了世界上第一個包含所有類型CXL 3.0/3.1組件的系統，進一步鞏固了其在CXL技術方面的領先地位。此外，該公司還宣布了CXL解決方案，以加速AI，響應行業需求。

在2023年閃存峰會(CES)上，該公司在其CXL 3.0/3.1框架上展示了推薦系統（商業上使用最多的AI應用之一）的加速。隨后，在CES 2024上，Panmnesia宣布了一款支持CXL的AI加速器，通過處理接近內存的數據來減少數據移動開銷，從而獲得了CES創新獎。在今年的OCP/OpenInfra峰會上，該公司推出了通過CXL技術擴展GPU系統內存的解決方案CXL-GPU，進一步鞏固了Panmnesia作為AI CXL解決方案領導者的地位。

啟用了CXL的AI集群

在2024年OCP全球峰會上，Panmnesia展示了支持CXL的AI集群，它代表了該公司以AI為重點的CXL技術前沿。

支持CXL的AI集群包括一個配備CXL內存擴展器的“CXL-Memory節點”和一個配備CXL?GPU的“CXL-GPU節點”。CXL-Memory節點通過多個CXL內存擴展器提供大容量內存，而CXL-GPU節點通過多個CXL- GPU加速AI模型推理/訓練。

為了構建這個AI集群，Panmnesia使用了它的兩個主要產品：CXL IP和CXL交換機。首先，該公司的CXL IP嵌入到每個系統設備中，以啟用CXL功能。由于CXL IP優化了設備之間的通信過程，因此它允許在不犧牲性能的情況下擴展內存，同時保持成本效益。接下來，使用Panmnesia的CXL 3.1交換機來互連上述各種類型的設備。

請注意，這不僅僅涉及物理連接。具體來說，CXL將GPU等加速器歸類為第2類設備，將內存擴展器歸類為第3類設備。為了將這些不同類型的設備互連在一起，交換機必須支持每種類型的設備所需的功能。由于該公司的CXL 3.1交換機滿足這些要求，因此能夠配置由不同類型設備組成的支持CXL的AI集群。此外，該公司的CXL 3.1交換機在增強跨多個節點（服務器）的可擴展性方面發揮著至關重要的作用。這是通過支持為高可擴展性而設計的CXL 3.1特性來實現的，例如多級交換和基于port的路由。

該公司表示：“這是世界上第一個采用CXL 3.1交換機的AI集群，也是世界上第一個采用CXL驅動的AI加速解決方案CXL- GPU的完整系統。”

CXL 3.1開關芯片也將在25年下半年提供給客戶。

OCP全球峰會演示：在支持CXL的AI集群上加速前沿AI模型RAG

在OCP全球峰會上，Panmnesia在其支持CXL的AI集群上展示了全球首個RAG加速演示。RAG是下一代LLM（大規模語言模型），目前正在開發中，并被OpenAI和微軟等公司使用。它可以成為當今行業的主要應用，因為它解決了現有LLM的固有局限性，即幻覺現象。

簡單解釋一下RAG的概念，它在包含大量數據的數據庫中搜索與用戶輸入相關的信息，并使用搜索結果來提高LLM響應的準確性。

Panmnesia的一位代表表示:“我們的演示將顯示，通過利用各種類型的CXL設備，Panmnesia的支持CXL的AI集群可以加速RAG應用程序的所有階段。”

據該公司透露，通過CXL擴展的大內存可以有效地加速搜索過程，而CXL-GPU則可以加速LLM。

Panmensia相關人士表示：“通過CXL 3.1交換器和高性能CXL IP，可以連接數十臺甚至100臺設備，可以在數據中心層面有效地加速RAG等最新AI應用。通過參與OCP全球峰會，我們的目標是加強我們現有的全球合作伙伴關系，擴大我們的客戶群。”