SPEC 性能基準測試于 1988 年由標準性能評估機構SPEC 提出，目前已發展成為包含 CPU 性能、服務器能效、文件系統性能、高性能計算、Web 應用性能等在內的基準測試簇。其中 SPEC CPU系列基準是公認的、具有事實性影響力的CPU性能基準測試標準，通過測試程序在被測系統和基準系統中執行時間的比值來考察系統CPU運算性能。
多年來，SPEC CPU性能基準測試與CPU的發展相互促進，基準測試程序不斷演進升級，CPU技術和產業應用也加速創新發展。
SPEC CPU 92 通過調整測試基準來應對行業需求，迅速取代MIPS 度量，成為產業界公認的事實標準，也驅動各界在提升整型運算和浮點型運算的同時，積極尋求新的 CPU 技術突破方向. 隨著技術的創新迭代，CPU時鐘頻率加速攀升，高速緩存容量持續增大、性能不斷提高，也使得SPEC CPU 92 的性能測試受到較大的影響。為進一步提升測試準確性，業界推出了 SPEC CPU 95，在應對新的容量、性能測試需求時，提供了更全面的場景來豐富 CPU 性能測試能力，引導技術創新由局限于關注裸性能向注重實際場景應用效果轉變。SPEC CPU 2000延續了 SPEC CPU 95 由兩套基準測試程序分別測試 CPU整型運算性能和浮點運算性能模式。?同時，為更好地應對不斷普及的多核處理器計算系統測試需求，保證測試結果的科學性和合理性。
為了滿足更多場景的測試要求，SPEC 再次對測試基準進行完善，推出了 SPEC CPU 2006. SPEC CPU 2006 新增的測試套件涵蓋到 CPU、存儲系統、編譯器等。
經過10年的沉淀，在SPEC CPU 2006的基礎上推出的 SPEC CPU 2017，進一步豐富應用場景，具體包含 43 個基準，分為兩類四個套件 . 其中，SPEC speed?Integer 和 SPEC speed Floating Point 套件用于比較計算機完成單個任務的時間，SPEC rate Integer 和 SPEC rateFloating Point 套件則可以測量每單位時間內的吞吐量或工作量。這也是第一次對速率（rate）和速度（speed）進行區分，以有效滿足復雜場景下對性能基準測試的穩定性提出更高要求，進而指導CPU發展。
不同于 SPEC 從最初關注裸性能不斷拓展到系統性能，TPC性能基準測試在設計之初就將系統級應用的綜合性能測評作為關注的重點。
用于度量系統對該類事務處理性能的主要測試基準包括TP1（Transaction Process 1）和 DebitCredit。該類測試基準由于缺少對測試執行過程和綜合測評結果的有效監督，易出現測試過程不規范，甚至給出誤導性測試結果的情況。20 世紀 80 年代末，第一個TPC基準TPC-A發布，對事務處理時限、測試系統終端數量等提出明確要求，澄清了當時混亂的市場，為推動CPU的系統級性能測試提供了重要依據。
經過持續迭代升級，TPC已發展成為能夠滿足多種應用場景性能測試需求的基準測試簇，根據測試場景和測試事務的不同，可將 TPC性能基準測試分為三類：
聯機在線事務處理系統（OLTP）測試，包括TPC-C，TPCE；決策支持和大數據（DS）測試，包括 TPC-H，TPC-DS；服務器虛擬化（VMS）測試，包括TPC-VMS. 其中，TPC-C性能基準測試通過模擬較復雜且具有代表意義的OLTP應用環境，來衡量聯機事務處理系統性能與可伸縮性。TPC-E 則在 TPC-C 的基礎上，對傳統的 C/S 架構模擬環境進行了完善，從而實現對當時日益盛行的B/S架構系統的高效評價，為引導產業提升大規模并發處理能力提供了重要依據。
TPC-H提供了一套決策支持系統的性能基準測試依據，強調服務器在數據挖掘、分析處理方面的能力。TPC-DS 則補充了單用戶響應時間、多用戶吞吐量等測試，對測試基準的數據模型、業務模型和執行模式進行了完善。TPC-VMS的目標是模擬服務器虛擬化環境，并實現對 TPC-C，TPC-E，TPC-H，TPC-DS的綜合測試，從而推動CPU圍繞應用日益廣泛的云計算模式不斷提升性能。
在 CPU 性能基準測試的不同發展時期，學術界和產業界也提出了一系列有關的性能基準測試方法，針對跨平臺、內存共享、多線程等多種場景進行測試。
Geekbench 是近年來受關注較多的一種跨平臺CPU 性能基準測試，其主要方式是通過構建多維評分系統，將單核、多核性能與模擬真實場景的工作負載分隔開。該性能基準測試適用于 Windows、Linux、macOS等多種操作系統下的測試。
Kozhirbayev 等人在利用Geekbench對單核和多核下的整形計算性能、浮點計算性能和存儲性能的基準測試中，獲得了很好的對比參考效果。Polvinen等人在實驗過程中，采用Geek?bench快速、準確地度量了處理器在向量點乘、矩陣 LU分解等場景中的性能.
此外，Splash，PARSEC Benchmark，LINPACK Bench?mark，MiBench，NAS Parallel Benchmark，CPU-Z 等也常用于計算實驗或實際應用中的性能基準測試，來展示和對比CPU的各項性能。
為直觀地展示本文所述通用測試基準的測試重點，各類性能基準測試及相關工具的支持語言、編譯程序、適配系統、支持的CPU架構及測試側重點信息。
表1中各類工具支持語言、編譯程序、適配系統、支持的 CPU 架構均具有一定的差異性。特別是基于不同的測試目標，各類工具的重點測試內容各異，不僅涉及運算能力、內存性能、內存帶寬等重要指標，而且與聯機業務處理、數據挖掘、并行計算等各類綜合應用場景相關。
隨著CPU性能測試維度的增加，CPU裸性能以及單一場景下的基準測試，難以全面反映 CPU 的綜合性能，因此，多種基準測試工具的配合測試，已成為通用CPU性能基準測試行業共識。
在穩定性方面，選取常用的性能基準測試工具——SPEC CPU和UnixBench，通過對實際應用情況的分析和梳理，為通用CPU性能基準的深入研究提供參考。
測試工具 SPEC CPU 的重要參數包含緩存缺失率（cache-misses）、分支指令預測錯誤率（branch-misses）和地址塊表緩存缺失率（dTLB-load-misses）等，相關指標越大，表明 CPU 的測試強度越高。SPEC CPU 測試工具的三個版本分別發布于 2000年、2006年和 2017年。從2000年至2017年的17年間，商業通用CPU的性能至少增長了 10 倍 . SPEC CPU2000/2006/2017 三個版本演進過程中，工具開發人員希望通過加大數據集等手段，提高對通用 CPU 的測試壓力，獲取更準確的性能評測結果。
本文首先對當前國際主流的CPU基準測試現狀進行了綜述，并對各類測試基準和工具的功能、算法、應用場景等方面的迭代升級和最新成果進行了分析；然后對當前通用CPU性能指標和基準測試需求進行了梳理，并分析了通用CPU性能基準測試所面臨的挑戰。
作者：史惠康，王澤勝，張士宗，高 翔，趙有健
《數據中心液冷技術合集（2023）》
1、電信運營商液冷技術白皮書（2023）?
2、浸沒式液冷數據中心運維白皮書?
3、運營商力推液冷，中興液冷技術領先（2023）
《2023年液冷技術白皮書匯總》
1、浸沒式液冷數據中心熱回收白皮書（2023） 2、數據中心綠色設計白皮書（2023）
《數據中心液冷技術合集》
1、集裝箱冷板式液冷數據中心技術規范?
2、浸沒式液冷發展迅速，“巨芯冷卻液”實現國產突破?
3、兩相浸沒式液冷—系統制造的理想實踐?
4、AIGC加速芯片級液冷散熱市場爆發
《液冷技術專題》
1、中國液冷數據中心發展白皮書?
2、全浸沒式液冷數據中心解決方案?
3、浸沒液冷數據中心規范?
4、噴淋式直接液冷數據中心設計規范?
5、單相浸沒式直接液冷數據中心設計規范
《液冷服務器技術合集》
1、某液冷服務器性能測試臺的液冷系統設計
2、浸沒液冷服務器可靠性白皮書?
3、天蝎5.0浸沒式液冷整機柜技術規范
本號資料全部上傳至知識星球，更多內容請登錄智能計算芯知識（知識星球）星球下載全部資料。
免責申明：本號聚焦相關技術分享，內容觀點不代表本號立場，可追溯內容均注明來源，發布文章若存在版權等問題，請留言聯系刪除，謝謝。
溫馨提示：
請搜索“AI_Architect”或“掃碼”關注公眾號實時掌握深度技術分享，點擊“閱讀原文”獲取更多原創技術干貨。
