基于第六代AMD EPYC的智能體AI：為應用程序服務器帶來代際性能提升

原創美光科技 2026-08-06 11:00

華潤微電子推出第五代高性能SGT MOS產品 一杯咖啡的時間，搞懂行波測距新趨勢

我們評估了第六代 AMD EPYC^? 在智能體應用程序服務器工作負載上的代際性能提升。2026 年 7 月 22 日，AMD Advancing AI 大會現場。

“我們需要一艘更大的船?！?— 布羅迪警長

隨著 AI 的使用向智能體模式轉變，對數據中心基礎設施的要求也會隨之提高。這將導致每臺服務器的 CPU、內存、存儲性能和密度目標值都相應提高，但理想的智能體應用程序服務器應該是什么樣的？又該如何進行測試呢？

我的團隊構建了一個基準測試，用于模擬智能體 AI 可能對您的基礎設施施加的工具調用工作負載，并與 AMD 數據中心生態系統應用工程團隊合作，于 7 月 22 日在 AMD Advancing AI 大會上進行了演示。我們測試了第五代 AMD EPYC 128 核 CPU，AMD 測試了他們的新型第六代 AMD EPYC 256 核 CPU。第六代 AMD EPYC CPU 搭配美光^?DDR5-8000 內存和 9650 PCIe? 6.0 NVMe^? SSD，性能提升了 3.8 倍，CPU 能效提高了 2.9 倍。

幸好，AMD 為我們打造了一艘更大的船。

智能體應用程序服務器

智能體 AI 部署運行在兩個不同的計算層級上。推理運行在 AI 集群上，該集群利用加速器密集型主機來運行語言模型和智能體框架。每當智能體調用工具時，該請求就會離開 AI 集群并到達應用程序服務器。應用程序服務器執行工作，將結果返回，然后智能體決定下一步做什么。

圖 1：智能體 AI 數據流。此基準測試用于表征應用程序服務器（橙色高亮部分）。

應用程序服務器正是我們著手要表征的對象。當每臺主機有數百次工具調用時，CPU、內存和 NVMe 子系統決定了響應時間。這是一個關于存儲、內存和計算的整體問題。

智能體基準測試設計

我們對生產環境中的智能體工作流進行了剖析，并設計了一項測試，使用真實應用程序來模擬應用程序服務器常見的操作。

編碼智能體拉取資產、查找構建元數據并檢索源代碼樹。
文檔分析智能體獲取文檔、查詢策略數據庫并搜索語料庫。
運維智能體拉取日志文件、查詢指標存儲并檢索運行手冊。
數據分析智能體拉取原始導出數據、查詢目錄數據庫并搜索先前的報告定義。

具體細節有所不同，但工作負載特征相似。

圖 2：四個代表性智能體工作流映射到三種基準應用程序：S3 GET 用于資產和語料庫獲取，MariaDB^?用于元數據和會話查找，ripgrep 用于文本和代碼搜索。

對象存儲：針對本地 MinIO^? 端點的 S3 GET 流量。智能體獲取文檔、圖像、向量分片和 RAG 語料庫塊。我們使用了混合對象大小分布（每個容器 500 × 1 MiB，500 × 10 MiB，190 × 50 MiB）來對 NVMe 層的吞吐量進行壓測。
針對 MariaDB 的結構化查詢：每個周期 50 次查詢，涵蓋五種查詢模式（點查詢、范圍掃描、聚合、有序掃描、去重）。這展示了智能體如何訪問其元數據、會話和長期記憶存儲。
使用 ripgrep 進行代碼和文本搜索：每個周期在完整的 Linux 內核和 CPython 源代碼樹中進行 100 次 ripgrep 搜索。文本搜索非常消耗 CPU，且會占用主機內存，它常見于編碼智能體、日志分析智能體以及在語料庫中查找引用的工作流中。

每個智能體都在其獨立的 Docker^? 容器中運行，內存限制為 4GB。每個容器運行一個周期：1,190 次 S3 GET 請求，50 次 MariaDB 查詢，以及 100 次 ripgrep 搜索。

AMD Advancing AI 與第六代 EPYC CPU

在 AMD Advancing AI 2026 大會上，AMD 發布了第六代 AMD EPYC 服務器 CPU，旨在為智能體 AI 時代提供領先的性能。AMD 將業界領先的核心密度（每插槽高達 256 個核心和 512 個線程）與具備業界最高頻率 5GHz 的 AI 主機節點，以及業界領先的 PCIe 6.0 I/O 子系統相結合，后者使每鏈路帶寬較上一代翻倍。AMD 將其定位為用于擴展具備密集計算能力的智能體的理想 AI 主機節點，并作為一個廣泛的、針對工作負載優化的產品組合，以支持通用工作負載、數據庫、存儲和 CPU 推理，從而保障企業的日常運營。

全新的第六代 AMD EPYC 系統支持美光 DDR5-8000 DRAM，數據速率較第五代 AMD EPYC 系統所使用的 DDR5-6400 提高了 25%，內存通道也從 12 個增加到 16 個。這些改進使得峰值內存帶寬從第五代 EPYC 系統的 614 GB/s 提升至第六代 EPYC 系統的 1,024 GB/s，實現了 1.7 倍的提升，并且每個插槽具有更大的容量，足以容納數百個并發智能體的工作集。

存儲也實現了代際飛躍。美光 9650 SSD 是首批投入量產的 PCIe 6.0 數據中心 SSD 之一，它利用翻倍的接口帶寬，在智能體主機生成的混合 I/O 負載下，能更快地返回對象和語料庫讀取數據。第六代 AMD EPYC 系統采用了 PCIe 6.0 美光 9650 驅動器，而第五代 AMD EPYC 系統則使用了 PCIe 5.0 美光 9550。

性能結果

關鍵指標是每秒智能體操作數 (AOPS)，即容器內所有運行工作負載完成的操作數總和除以完成操作所需的時間，反映了整個系統處理操作的速度。第六代 EPYC CPU 持續達到 2,185 AOPS，而 Turin 為 581.4 AOPS，提升了 3.8 倍。這是在 2 倍容器數量的情況下實現的，意味著第六代 EPYC CPU 在幾乎一半的時間內完成了兩倍的工作量。

總體智能體性能

圖 3（左一）：總 AOPS：第六代平臺為 2,185，第五代平臺為 581.4。

圖 4（右一）：每個物理核心的 AOPS：第六代平臺為 8.5，第五代平臺為 4.5。

我們的測試結果顯示，第六代平臺的總 AOPS 是第五代平臺的 3.8 倍。這有效地衡量了系統完成 1,190 次 S3 GET 請求、50 次 MariaDB 查詢以及 100 次 ripgrep 搜索的速度（乘以已部署容器數量）。第六代 EPYC 系統在 157 秒內完成了 343,040 次操作，而第五代 EPYC 系統在 299 秒內完成了其半數的操作。從單核性能來看，在運行兩倍數量的容器和兩倍數量的核心時，第六代 EPYC 系統實現的單核 AOPS 高出 1.9 倍。

應用程序延遲與工作負載的關系

即使運行容器的數量翻倍，第六代 AMD EPYC CPU 在所有工作負載下仍能提供更低的應用程序延遲。S3 充分利用了美光 9650 在 PCIe 6.0 接口下的混合 I/O 性能，MariaDB 受益于整個系統的性能提升，而 ripgrep 則高度依賴 CPU。

圖 5：各工作負載的容器平均延遲。

CPU 性能

第六代 EPYC CPU 在所有核心上的平均利用率為 33%，而第五代 EPYC CPU 的平均利用率為 87%，但這并不能反映全部情況。在整個測試過程中，兩款 CPU 都經常出現利用率飆升至 100% 的情況。

圖 6：每個活動窗口期間的 CPU 利用率：平均值和峰值測量結果。

存儲性能

圖 7（左一）：測得的平均和峰值總存儲讀取吞吐量。

圖 8（右一）：測得的平均和峰值總存儲讀取 IOPS。

存儲工作負載非常復雜，其中 S3 驅動大塊隨機 I/O，MariaDB 使用 16KB I/O，而 ripgrep 則發出 4KB 及更小的 I/O。使用兩塊硬盤時，美光 9650 可飆升至 53 GB/s（170 萬 IOPS），非常接近每塊硬盤 28 GB/s 的理論最大值。這證明了 9650 不僅能夠處理極高的吞吐量，而且在復雜的混合 I/O 工作負載下也能保持穩定運行。

CPU 封裝功耗與能效

圖 9（左一）：測得的 CPU 封裝 RAPL 平均功耗和峰值功耗。

圖 10（右一）：測得的每封裝瓦特 AOPS：第六代平臺為 5.2，第五代平臺為 1.8。

第五代 EPYC CPU 的 CPU 封裝 RAPL（運行平均功耗限制）平均功耗為 320.6W，峰值功耗為 456.4W。第六代 EPYC CPU 的平均功耗為 422.8W，峰值功耗為 604.7W。由于更高的 TDP 和兩倍的核心數量，第六代 EPYC CPU 功耗也更高，但也利用這些功率完成了更多的工作。從效率來看，第五代 EPYC CPU 的每 CPU 封裝瓦特 AOPS 為 1.8，而第六代 EPYC CPU 為 5.2，CPU 能效提升了 2.9 倍。

推動數據中心的 AI 發展

AMD 和美光開發了此基準測試，旨在展示每個主機在智能體數量和種類增加時的系統性能。IDC 預測，到 2029 年，全球將有超過 10 億個活躍部署的 AI 智能體，每天執行 2170 億次操作，并消耗 3.7 萬億個詞元和 API 調用以處理這些負載¹。Gartner 預計，智能體 AI 支出在 2026 年將達到 2019 億美元，并有望在 2029 年達到 7530 億美元²。在機架層面，這意味著每個主機有更多的智能體，每個智能體有更多的并發 I/O，并且服務器內的每個子系統同時承受更大的負載。

第六代 AMD EPYC 系統在運行 256 個容器的情況下持續達到 2,185 AOPS，總 AOPS 比上一代提升了 3.8 倍，每核心 AOPS 提升了 1.9 倍，能效提升了 2.9 倍。

表彰

這項測試是由來自美光和 AMD 的跨職能團隊共同完成的。感謝大家的辛勤努力。

AMD

Milind Damle，軟件與解決方案高級總監
Anre Kashyap，云工程高級經理
Abimanyu Shah，高級軟件系統設計師
Gigi Khmaladze，軟件系統設計師
Apostolos Kotsiolis，AMD EPYC 產品營銷經理
Ketan Sanghrajka，IHV 解決方案架構師
Chandana Ambekar，AI 推理性能工程師

美光

John Mazzie，技術團隊成員
Dilim Nwobu，首席系統性能工程師
Amit Bodas，合作伙伴工程

參考資料

IDC（2025 年 12 月 10 日）?！爸悄荏w采用：IT 行業的下一個重大轉折點。” 到 2029 年，全球將有超過 10 億個活躍部署的 AI 智能體，每天執行 2170 億次操作。https://www.idc.com/resource-center/blog/agent-adoption-the-it-industrys-next-great-inflection-point/
Gartner（2026 年 1 月 15 日，引自 Software Strategies Blog 2026 年 2 月 26 日的匯總報道）。智能體 AI 的支出預計在 2026 年達到 2019 億美元，到 2029 年將增長至 7530 億美元。
https://softwarestrategiesblog.com/2026/02/26/roundup-of-agentic-ai-forecasts-and-market-estimates-2026/

AMD、AMD 箭頭徽標、EPYC 及其組合均為 Advanced Micro Devices, Inc.的商標。Micron 和 Micron 徽標是 Micron Technology Inc.（美光科技股份有限公司）的商標或注冊商標。PCIe 是 PCI-SIG 的注冊商標。NVMe 是 NVM Express, Inc. 的商標。Docker 是 Docker, Inc. 的商標或注冊商標。MariaDB 是 MariaDB plc 或其子公司的商標或注冊商標。MinIO 是 MinIO, Inc. 的商標。所有其他商標分別為其各自所有者所有。

測試配置：1P AMD EPYC^?9745 HPE ProLiant DL345 11.0 生產系統 (1 x 128C) 1.5TB 12x128GB DDR5-6400，2xMicron 9550 Pro 7.68TB，NPS=1，Ubuntu 24.04.4 LTS，Kernel Linux 6.8.0-134-generic，BIOS 2.2 (determinism enable=power)，測試日期：2026 年 7 月 14 日。

測試配置：1P AMD EPYC^? 9996 參考系統 (1 x 256C) 2.0TB 16x128GB DDR5-8000，2xMicron 9650 7.68TB，NPS=2，Ubuntu 24.04.4，Kernel Linux nigeria-4370-os 6.18.2-amdsos-build70-ubuntu-24.04+，(determinism enable=power)，測試日期：2026 年 7 月 10 日。

本文作者