摘要：隨著我國信息產業的飛速發展，數據中心總體需求不斷提升，單機柜功率密度不斷提高，傳統的散熱方式已不能滿足當前高密度數據中心的發展需求。液冷技術的出現，改善了傳統的散熱形式，并憑借高可靠、低能耗等優勢，逐步被應用于數據中心。文章主要對浸沒式、冷板式、噴淋式?3?種液冷技術進行分析，并對3?種液冷技術的特點進行對比，歸納3?種技術的不同特性。分析液冷系統、應用以及行業發展，為后續建設綠色高效的數據中心提供參考。
關鍵詞：液冷；浸沒式；冷板式；噴淋式；數據中心
來源：電力信息與通信技術，中國知網?
作者：王艷松，張琦，孫聰，莊澤巖，黃子軒，翟天一
01引言
數據中心在信息社會和數字經濟發展中扮演著重要的角色，提供計算、存儲、網絡能力，支撐社交、視頻、網購等應用的正常進行。隨著云計算、大數據、人工智能等技術的發展和應用，數據中心規模不斷擴大，數據中心總體耗能總量不斷增加。如圖1?所示，數據中心能耗結構中冷卻系統能耗占據高達40%，成為數據中心進行能效優化的重要因素。
隨著國家對新基建的重視，數據中心迎來新的發展浪潮，伴隨著數字化社會的發展，數據中心也將會承擔越來越重要的角色，推動數據處理、存儲、傳輸等相關設備的建設與發展。
圖1?數據中心能耗結構圖
作為各類數據信息的關鍵基礎設施，數據中心的規模不斷提升，規模的年增長率保持在?30%?左右，截止到2020?年底，數據中心機架總量已經超過400?萬架。數據中心利用率是數據中心算力的主要表現形式。2019?年底，我國大型、超大型、中小型的數據中心利用率均達到45%?以上。當前，數據中心能效水平不斷攀升，加快了可再生能源的利用效率。當前，我國數據中心的電源利用效率（Power Usage Effectiveness，PUE）水平較低，大型、超大型數據中心平均PUE?均達到1.5?以下，在綠色低碳數中心建設方面取得了突出的成果。同時，我國可再生能源利用率不斷攀升，到2020?年底，可再生能源發電量超過22000?億kW，增長率達8.4%。螞蟻集團、阿里巴巴等領先數據中心企業設計實施了可再生能源利用、綠色技術研發等綠色低碳數據中心策略。
數據中心一方面作為各類數據信息的核心基礎設施，另一方面又與傳統行業融合發展、緊密相連，特別是與電力系統領域更加密不可分。數據中心機房作為現代信息建設的基礎工程，能夠提供穩定的運行環境。而電力系統作為數據中心的重要組成部分，占據整個數據中心資產的?50%?以上，是數據中心的主要支撐。近年來，隨著我國電力行業信息化程度逐步提高，能源互聯網建設進程不斷增加，電力行業先后提出“云大物移”、智慧能源等建設目標，深入應用大數據、人工智能、區塊鏈等技術，加速推進能源革命與數字革命融合發展。當前，智能電網和互聯網技術不斷創新，以數據賦能電力系統，用價格信號引導電力用戶改變自身的用電行為，從需求側增加電力系統運行的敏捷性，豐富電網的運行調節手段，有效促進我國電能量市場的高速發展。同時，國家電網有限公司結合供配電資源優勢，提出將變電站、數據中心站等多站進行融合的建設目標，利用現有資源，實現數量多、分布廣的部署特點，為社會提供多種類型的服務。我國電力行業大型數據中心以支撐自身業務為主，并不斷以綠色化、智能化、定制化為方式，推動數據中心建設。
數據中心作為集中放置電子信息設備，提供運行環境的建筑場所，是電力系統領域中的重要基礎設施。數據中心大多建立在環境周邊清潔、水源充足、遠離自然災害隱患、環境溫度利于節約能源的地區，不但能夠確保數據中心建設的安全性，而且對降低數據中心在建設過程中的能源消耗、節省數據中心的建設成本有一定的優勢，如張北云聯數據中心通過全自動化樓宇設備自控（Building Automation System-RTU，BA）系統，利用周邊環境溫度低的優勢，實現自然冷源利用率的最大化，使年均PUE?達1.23。另外，電力對于數據中心基礎建設是數據中心運營的重要保障，電價成本的高低對數據中心的建設和運營均具有較大的影響。數據中心全天處于運行狀態，不但需要充足的電力供給保障服務器、IT設備的正常運行，而且還需要長期運行機房的散熱設備對機房進行降溫處理。因此，電費支出成為數據中心運營支出的主要部分，使華為、阿里巴巴、騰訊、今日頭條、百度等科技巨頭對數據中心的布局逐漸向河北、內蒙古、貴州等一線周邊城市擴散。如位于烏蘭察布市察哈爾經濟技術開發區的烏蘭察布華為云數據中心，利用電力氣候等獨特優勢采取多種措施實現綠色、高質量、低成本的運營模式，達到全年PUE?小于1.15，成為業界最佳水平。阿里巴巴公司利用貴州水電充足、電價成本偏低的優勢，將數據中心設立在貴州，實現了建設高等級、低成本的數據中心。
隨著新基建戰略的不斷推進，數據中心逐漸成為各行各業不可或缺的紐帶，同時，其自身的能耗問題也備受關注。由于冷卻系統耗能占比高、可優化空間大，當前通過改善數據中心的制冷方式，進而降低數據中心能耗，已經成為推進我國數據中心高質量發展的必要措施之一。液冷技術是數據中心制冷革新的關鍵技術之一，可以較好地提高數據中心的能效水平。
在發展方面，液冷技術在航天等領域內具有很長的應用歷史，而在數據中心行業中發展較為緩慢。文獻[9]提出了液冷結合風冷技術的雙通道系統，且測試實驗PUE?結果達1.1?到1.2?之間；文獻基于多個城市的液冷散熱樣本數據進行分析，構建了不同城市數據中心制冷散熱系統的能耗計算模型，有效降低了數據中心系統的能耗值。文獻結合數據中心節能分析基礎上，采用熱回收技術，在降低數據中心能耗的同時，提升熱回收效益。在國外，也有大量的研究人員對降低數據中心的損耗進行大量的研究，產生了較多的應用案例，如IBM?公司的SuperMUC?充分應用液冷技術的制冷優勢，大幅度降低了數據中心的損耗率。
針對數據中心液冷技術在不同行業的技術應用發展，本文主要從浸沒式、冷板式、噴淋式?3?種液冷技術的發展進行分析，并將3?種液冷技術的特點進行系統的對比，總結出液冷技術的不同特點以及適用應用場景類型，為數據中心液冷技術的場景應用及技術發展提供參考。
01液冷技術分析
液冷技術是電子設備進行散熱的技術，主要區別于目前常用的風冷技術。當前液冷技術包括浸沒式、冷板式、噴淋式等類型，本節主要介紹上述?3?種液冷技術的系統組成和運行過程，并對3?種液冷技術進行對比。
1.1?浸沒式液冷技術
浸沒式液冷技術通過浸沒發熱器件，使得器件與液體直接接觸，進而進行熱交換。根據介質是否存在相變化分為單相浸沒和相變浸沒?2?種類型。本文主要以相變浸沒液冷技術為研究對象，分析其降低數據中心能耗工作原理。
浸沒式液冷技術主要由冷卻液、腔體結構、換熱模塊及相關的連接管道等設施構成。其中，冷卻液為數據中心的換熱介質，具有高絕緣、低黏度以及超強的兼容特性，是浸沒式液冷技術的主要媒介。主板芯片等發熱器件表面的散熱性能在很大程度上影響介質沸騰的換熱強度，若芯片表面光滑，則液體在換熱面上的傳熱系數較高，從而提高熱量的散發速率。市場上常采用安裝散熱罩的方式，增大芯片的散熱面積，從而提高數據中心的散熱性能，降低損耗率。冷卻模塊是浸沒式液冷技術的主要散熱模塊，包含液氣換熱器、循環泵等多個配件設施。冷卻模塊的部署方式可以影響冷卻液的冷凝換熱效率，改變浸沒式系統的冷卻極限，從而降低數據中心的散熱效率，其模塊大多適用于高性能、高熱流的計算場景，如中科曙光?E?級超算設備，完全擺脫風冷散熱的制約，去除風冷式散熱器，配置512?個計算節點，系統峰值功耗為249 kW，PUE?達1.04，有效解決高密度計算產生的制冷散熱問題。網速科技是最早布局液冷數據中心產品線的企業，通過浸沒式液冷的散熱方式，將散熱能耗降低90%~95%、設備能耗降低10%~20%，有效降低數據中心的總體能耗占比。
1.2?冷板式液冷分析
冷板式液冷系統主要由換熱冷板、熱交換單元和循環管路、冷源等部件構成。冷板式液冷將熱量傳遞給循環管道中的冷卻液體，通過液體本身的制冷特性將服務器產生的熱量帶走，提高冷板的冷卻效率，大幅度降低數據中心的能耗。
換熱冷板通過空氣、水或其他冷卻介質在通道中的強迫對流，帶走服務器中的耗熱能量，可有效降低數據中心的?PUE?值。冷板材質一般由高導熱系數的材料構成，使得冷板表面接近等溫，帶走大量的集中熱量。并且冷板的應用減少冷卻介質對電子元器件的污染，提高數據中心設施的使用壽命。冷量分配單元主要為豎直和水平2?種形式，通過豎直和水平分液單元將低溫冷卻液均勻的分配給每一個分液單元，防止芯片熱量無法有效散出，減少因節點溫度升高而發生的隱患，提高系統的計算能力。循環管路是連接換熱冷板、熱交換單元以及其他相關器件的重要部件，一般分為直連式和環路式2?種類型，大多根據數據中心建設的不同需求，選擇合適的管路進行連接。冷源作為帶走數據中心產生熱量的最終出口，是冷卻系統的主要組成部分。大多采用室外冷卻設備提供的低溫冷卻水在熱交換單元中充當冷源。冷源與升溫后的冷卻液進行間接接觸，通過帶走冷卻液的熱量進行降溫，使冷卻液以低溫狀態進入芯片模塊，進而進入散熱循環。因此，冷源的選擇合理與否，將會直接影響整個系統的使用效率及運行的經濟性問題，如阿里巴巴千島湖數據中心利用周邊環境的自然資源，采用湖水自然冷卻系統等技術，使PUE?達1.28，有效節省數據中心的建設成本。
1.3?噴淋式液冷分析
噴淋式液冷一般不需要對數據中心的基礎設施進行大幅度地改動，只需在噴淋模塊調整噴淋頭，實現噴淋設備與服務器的精準對應。與傳統風冷服務器相比，其可以有效降低器件所產生的熱量，從而控制數據中心運行的溫度。噴淋式液冷服務器是整個噴淋系統的主要內部器件，憑借其高性能、低能耗、高可靠運行的特點，可以有效降低數據中心能耗。當前，先進的噴淋式液冷服務器大多采用芯片級噴淋液冷技術，通過冷卻液帶走部件產生的熱量，冷卻液的溫度提升后，隨即進入冷卻系統的換熱裝置進行換熱。
1.4?液冷技術對比
對冷板式、浸沒式、噴淋式液冷技術進行比對，具體情況如表?1?所示。由表1?可以看出，冷板式液冷技術在可維護性、空間利用率、兼容性方面具有較強的應用優勢；但在成本方面，由于其單獨定制冷板裝置的原因，導致技術應用的成本相對較高。而噴淋式液冷技術則通過改造舊式的服務器和機柜的形式，大幅度減少了數據中心基礎設施的建設成本。浸沒式技術與其他2?種技術相比，雖然器件的可維護性和兼容性較差，但空間利用率與可循環方面具有較好的表現，降低數據中心的能耗。
?表1 冷板式、浸沒式、噴淋式液冷技術比較?
02液冷產業發展分析
2.1?行業應用現狀分析
第?1?節中液冷技術在數據中心行業已經有一些具體的應用案例。冷板式液冷是應用最早的液冷技術，在數據中心、高性能計算等行業均有應用；浸沒式液冷技術具有節能性、高性能的特點，在計算機超算領域具有廣闊的應用前景；噴淋式液冷目前公開的應用較少，但近年來應用也逐步加快。本節將結合液冷技術的類型特點，通過不同的應用案例分析浸沒式、冷板式、噴淋式的應用技術。
1）浸沒式液冷技術。目前，高性能計算是進行科學計算、推動信息社會發展的重要方式。以中科曙光為例，其一直致力于大型超算系統的研發，而高效制冷技術是降低高密度IT?設備的主要形式，經過相關研發和測試，曙光E?級超算系統已經利用浸沒式液體相變的冷卻方式，有效降低液冷系統的冷卻極限。同時，其采用立體擴展的多層機房模式，完成系統的高效集成。除中科曙光外，北京服務于云渲染的數據中心，通過浸沒式液冷技術改變傳統的風冷技術，去除制冷主機和末端空調風機，降低數據中心基本設施的電能損耗，提高數據中心的運行效率。
2）冷板式液冷技術。當前，冷板式液冷技術的應用也具有較多的案例，如北京水冷超算中心采用常溫水冷技術，解決數據中心的內存散熱問題，從而降低數據中心的能耗，使該數據中心達到國內領先的節能水平，成為業界的標桿；百度陽泉數據中心也采用冷板式液冷技術，通過利用系統循環泵驅動溫水技術帶走升溫的芯片熱量，進而降低數據中心的能耗。華為研發的冷板式液冷技術也已經開始推廣應用，并在PUE?方面取得較好的效果。
3）噴淋式液冷技術。噴淋式液冷技術的理論基礎研究相對較少，技術的應用場景也比較有限。因此，只有少量數據中心基礎設備采用噴淋式液冷技術，如上海大數據試驗場，一方面其采用模塊化的集裝箱式技術，降低了建設數據中心的應用成本；另一方面，其結合噴淋液冷技術，實現284 kW?的IT?負載，并將IT?設備的PUE?控制在穩定的范圍內，提高數據中心的能效。
2.2?行業應用問題分析
液冷技術在數據中心行業的散熱方面具有顯著的優勢，但在數據中心行業大規模應用，仍需提高技術的創新性和適用性，需要解決以下行業發展問題。
1）液冷適用性。每一種新興技術的應用，都需要廠商進行長期的實驗，才能保證技術穩定性。并且在大批量應用之前需進行小規模的定點實驗，提高液冷的實用性。當前，液冷技術應當進一步加強小規模的定點實驗，并努力批量應用于數據中心行業中。
2）液冷架構重構性。液冷方式的部署環境與傳統的機房有較大的差異，而且部署架構也需要重新構建。因此，采用液冷技術不但面臨高額的部署費用，而且也增加運維人員的時間成本，大幅度升高了數據中心的運維成本，因此，需要進一步在架構、運維等方面進行優化。
3）液冷設計規范性。液冷在數據中心的建設和測試過程中缺乏成熟的行業規范，大部分企業均根據自身的需求特點進行研發，未達成業界的統一標準。若未進行標準化統一管理，會導致液冷技術不規范發展，一旦產生破壞性故障，會徹底打擊液冷技術的發展。同時，非標產品也不利于成本和應用，因此必須加快標準化進程。
2.3?行業發展建議
液冷技術在數據中心行業的應用中，需要逐步成熟的發展過程，必須依托廠商、用戶及行業組織的推進，才能在未來的發展中獲得大幅度提升，具體建議如下。
1）完善液冷技術材料的通用性，降低建設成本。如冷板式液冷技術中，冷板的要求規格較多，導致冷板式技術的成本較高。若對液冷應用的原材料和配件進行深入研究，降低制造液冷原材料和配件的成本，將會大幅度提升液冷數據中心的發展速度。
2）提高液冷技術的運維效率。液冷技術的運維與傳統風冷技術的運維方式相差較大，從而加劇運維人員的工作成本。因此，需要生產配件的各個廠商及設備商提供安裝、調試和運維的規范說明。通過標準化的流程，不但保障其應用的穩定性，而且大幅度提升運維人員的工作效率。
3）加強液冷技術驗證力度，確保技術可靠運行。液冷技術的可靠性實施，需要依托于設備商、服務商、用戶等企業。從節能性、可靠性和適用性等方面，推進液冷技術示范試點的運行，并在加強驗證的基礎上，在數據中心行業進行大批量的推廣。
03結語
我國數據中心飛速發展的同時，數據中心能耗也逐漸增加，對企業發展和社會能源，均帶來了巨大挑戰。在數據中心的基礎設施建設中，液冷技術雖不是一個全新的概念，但仍存在液冷適用性、架構重構性以及設計規范性等多方面問題。針對液冷技術，本文從技術和行業發展?2?個方面進行分析，并提出液冷技術的發展優勢，為未來數據中心行業的發展提供理論參考。
下一階段仍需高度關注液冷技術和數據中心行業的變革，為推動液冷技術的應用以及實現高效能數據中心建設奠定基礎。
?
免責申明：本號聚焦相關技術分享，內容觀點不代表本號立場，可追溯內容均注明來源，發布文章若存在版權等問題，請留言聯系刪除，謝謝。
電子書<服務器基礎知識全解(終極版)>更新完畢。
獲取方式：點擊“閱讀原文”即可查看182頁?PPT可編輯版本和PDF閱讀版本詳情。
溫馨提示：
請搜索“AI_Architect”或“掃碼”關注公眾號實時掌握深度技術分享，點擊“閱讀原文”獲取更多原創技術干貨。
