中國儲能網(wǎng)訊：伴隨云計算、大數(shù)據(jù)、人工智能等技術(shù)的發(fā)展和應(yīng)用，作為信息基礎(chǔ)設(shè)施的數(shù)據(jù)中心及相關(guān)設(shè)備承擔(dān)的計算量越來越大，數(shù)據(jù)中心服務(wù)器及通信設(shè)備自身處理能力和集成度不斷提高，同時也帶來了功率密度節(jié)節(jié)攀升的問題，高熱密度給制冷設(shè)備和技術(shù)提出了更高要求。受限于物理空間以及空氣比熱容低的特性，風(fēng)冷技術(shù)難以滿足高功率元器件散熱負(fù)荷需求，如圖1所示。
同時，國家層面不斷推進數(shù)據(jù)中心綠色低碳建設(shè)要求，工信部等七部委聯(lián)合印發(fā)的《信息通信行業(yè)綠色低碳發(fā)展行動計劃(2022-2025年)》中明確提到，到2025年，全國新建大型、超大型數(shù)據(jù)中心能源利用效率（PUE）降到1.3以下。液體的冷卻能力是空氣的1000～3000倍，液冷技術(shù)以其高效的散熱能力，成為降低數(shù)據(jù)中心PUE的有效手段。
綜上所述，在數(shù)據(jù)中心建設(shè)引入液冷技術(shù)的必要前提下，需要統(tǒng)籌考慮液冷技術(shù)引入對數(shù)據(jù)中心硬件系統(tǒng)集成建設(shè)提出的新挑戰(zhàn)。本文將重點介紹冷板式、浸沒式、噴淋式液冷技術(shù)路線，聚焦冷板式液冷場景下數(shù)據(jù)中心硬件系統(tǒng)集成的技術(shù)要求，提出冷板式液冷場景下數(shù)據(jù)中心硬件系統(tǒng)集成方案。
1 液冷技術(shù)
液冷技術(shù)是一種以液體作為冷媒，利用液體流動將數(shù)據(jù)中心ICT設(shè)備內(nèi)部元器件產(chǎn)生的熱量傳遞到設(shè)備外，使ICT設(shè)備的發(fā)熱部件得到冷卻，從而保證ICT設(shè)備安全運行。根據(jù)接觸方式的不同，液冷技術(shù)可分為間接接觸型液冷（冷板式液冷）和直接接觸型液冷（浸沒式液冷和噴淋式液冷）。
1.1 間接接觸型液冷技術(shù)
間接接觸型液冷以冷板式液冷技術(shù)為主，該種技術(shù)路線將液冷冷板固定在ICT設(shè)備的主要發(fā)熱器件上， ICT設(shè)備熱源與冷卻液之間沒有直接接觸，通過液體流經(jīng)冷板帶走熱量，從而散熱。
冷板式液冷技術(shù)的邏輯架構(gòu)如圖2所示。其主要組件如下。
冷卻塔指將液體回路產(chǎn)生的熱量散布到室外空氣中的設(shè)備，一般情況下置于室外。
液冷分配單元（CDU）指對液冷電子設(shè)備進行冷卻液體流量分配，主要有兩種物理形態(tài)，分別為柜式CDU（外置于全液冷機柜）和框式CDU（內(nèi)置于全液冷柜）。
液冷機柜指用于冷卻液體的進出，并冷卻電子設(shè)備的裝置。
一次側(cè)也叫一次管路，指連接冷卻塔到液冷分配單元及液冷機柜的循環(huán)水系統(tǒng)。
二次側(cè)也叫二次管路，用于連接液冷分配單元到液冷元器件（液冷機柜中）的冷卻循環(huán)水系統(tǒng)。其中， 供回液歧管作為二次側(cè)回路中的關(guān)鍵部件之一，可分配流入或流出液冷機架內(nèi)設(shè)備的冷卻工質(zhì)。
從應(yīng)用場景、行業(yè)應(yīng)用現(xiàn)狀及技術(shù)本身的優(yōu)劣勢等多個方面對冷板式液冷技術(shù)進行分析，具體分析結(jié)果見表一。
1.2 直接接觸型液冷技術(shù)
直接接觸型液冷技術(shù)指的是將電子設(shè)備的發(fā)熱部件直接與冷卻液進行接觸的冷卻方式，主要包括浸沒式液冷和噴淋式液冷兩種技術(shù)路線。
浸沒式液冷指通過浸沒電子設(shè)備的發(fā)熱器件，將發(fā)熱器件與冷卻液體直接接觸，通過熱交換進行冷卻。涉及的主要設(shè)備和設(shè)施包括室外冷源、冷卻子系統(tǒng)、液冷管路和浸沒腔體（液冷機箱）等。浸沒式液冷可依據(jù)介質(zhì)是否存在相變化分為單相浸沒式液冷和相變浸沒式液冷兩種類型。
單相浸沒式液冷的實現(xiàn)原理是通過浸沒腔體子系統(tǒng)中的冷卻液對電子設(shè)備熱負(fù)載直接接觸進行吸熱，升溫后的冷卻液在冷卻子系統(tǒng)中的循環(huán)泵和換熱器作用下將熱量傳遞給一次側(cè)冷卻介質(zhì)，最終通過室外冷源將熱量釋放到室外環(huán)境中。
兩相浸沒式液冷的實現(xiàn)原理是通過浸沒腔體子系統(tǒng)中冷卻液冷對電子設(shè)備熱負(fù)載直接接觸式相變吸熱，相變后的氣態(tài)冷媒與浸沒腔體內(nèi)的冷凝器進行熱交換，將熱量傳遞給冷卻介質(zhì)后變成液體，液體受重力作用流回腔體，吸收熱量的冷卻介質(zhì)經(jīng)室外冷源設(shè)備將熱量釋放到室外環(huán)境中。
噴淋式液冷技術(shù)指的是通過在機箱頂部儲液和開孔，對發(fā)熱的電子器件噴淋冷卻液，從而達(dá)到降溫的目的。涉及的主要設(shè)備和設(shè)施包括室外散熱模塊、冷量分配單元、液冷管路、噴淋液冷機柜（進液箱和回液箱） 等。噴淋式液冷將在冷量分配單元內(nèi)冷卻后的冷卻液泵輸送至噴淋機柜內(nèi)部 ；冷卻液進入機柜后直接通過分液器進入與設(shè)備相對應(yīng)的布液裝置進行噴淋 ；冷卻液通過電子設(shè)備中的發(fā)熱器件或與之相連的導(dǎo)熱材料進行噴淋制冷 ；被加熱后的冷卻液通過回液箱進行收集，并通過泵輸送至冷量分配單元進行下一個制冷循環(huán)。
針對浸沒式液冷技術(shù)和噴淋式液冷技術(shù)，分別從應(yīng)用場景、行業(yè)應(yīng)用現(xiàn)狀及技術(shù)本身的優(yōu)劣勢進行多維度分析，具體分析結(jié)果見表 2。
2 傳統(tǒng)數(shù)據(jù)中心硬件系統(tǒng)集成方案
傳統(tǒng)數(shù)據(jù)中心硬件系統(tǒng)集成主要完成工程項目中硬件層多廠家、多類型設(shè)備的硬集方案規(guī)劃、集成實施和聯(lián)調(diào)交付等工作， 是工程設(shè)計的延伸和落地，為軟件系統(tǒng)集成 入場實施提供必要的硬件系統(tǒng)環(huán)境。傳統(tǒng)數(shù)據(jù)中心硬件系統(tǒng)集成工作流程如圖3所示。
傳統(tǒng)數(shù)據(jù)中心硬件集成方案中的重點工作環(huán)節(jié)說明如下。
集成方案設(shè)計。對數(shù)據(jù)中心硬件組網(wǎng)拓?fù)?、機柜布局、配電情況、物理連線信息、服務(wù)器配置信息、 交換機端口配置信息、路由配置信息、安全設(shè)備配置信息和設(shè)備管理信息等進行規(guī)劃設(shè)計。
站點工勘。查勘內(nèi)容包括機房環(huán)境、機柜布局、 機架功率、橋架路由、供電方式和冷卻方式等。根據(jù)查勘結(jié)果，依據(jù)工程分工界面，對項目所需如線纜等材料的長度、顏色等規(guī)格做出明確采購方案，對機房內(nèi)必要 改造所需輔材制定明確采購方案。
輔材提供。根據(jù)設(shè)計圖紙和分工界面，由對應(yīng)責(zé)任單位提供相關(guān)輔材。輔材主要包括線纜和工程建設(shè)所需的必要輔材，如扎帶、加強型托盤、L托架、冷壓端子、魔術(shù)貼、光纖套管、繞纖筒、下纖槽、工業(yè)連接器、標(biāo)簽、 銅鼻子、纏繞管、接線柱、理線架和保溫棉等。
硬件安裝督導(dǎo)。督導(dǎo)數(shù)據(jù)中心工程建設(shè)項目所有主設(shè)備安裝上架、加電，督導(dǎo)完成所有線纜布放及互聯(lián)，且完成相應(yīng)網(wǎng)絡(luò)互通配置。設(shè)備及配套材料安裝需符合相關(guān)工藝標(biāo)準(zhǔn)和要求。
設(shè)備初始化調(diào)測。完成所有硬件設(shè)備本機基礎(chǔ)配置與調(diào)測，如服務(wù)器BMC、RAID、BIOS等配置與調(diào)測，硬件管理接入交換機、管理核心交換機等的基礎(chǔ)配置與調(diào)測，完成硬件管理網(wǎng)絡(luò)互通。
連通性測試。數(shù)據(jù)中心工程建設(shè)項目所有硬件設(shè)備以集成設(shè)計方案為準(zhǔn)繩進行配置檢查，電源和物理線纜按設(shè)計完成連接和互通性測試，確認(rèn)所有設(shè)備硬件管理IP地址可達(dá)。
配合軟件集成商。配合軟件集成商完成技術(shù)方案中所涉及的各種設(shè)備組網(wǎng)、業(yè)務(wù)功能分析等。配合進行軟硬件系統(tǒng)部署調(diào)測，對軟件集成過程中產(chǎn)生的計算、 網(wǎng)絡(luò)和存儲等資源需求的變更進行相應(yīng)調(diào)整，協(xié)助軟件集成商進行軟硬件多廠家間問題界定、協(xié)調(diào)與管理。
3 液冷數(shù)據(jù)中心硬件系統(tǒng)集成技術(shù)方案
液冷場景下的數(shù)據(jù)中心硬件系統(tǒng)集成方案，應(yīng)在參照傳統(tǒng)數(shù)據(jù)中心硬件系統(tǒng)集成流程的基礎(chǔ)上，在集成規(guī)劃、集成實施和聯(lián)調(diào)交付階段針對液冷數(shù)據(jù)中心技術(shù)特點進行調(diào)整與適配，以滿足液冷數(shù)據(jù)中心工程建設(shè)要求。下面將以當(dāng)前成熟度最高、市場應(yīng)用最為廣泛的冷板式液冷技術(shù)方案為例，對液冷數(shù)據(jù)中心硬件系統(tǒng)集成的重點環(huán)節(jié)進行分析。
3.1 站點工勘階段
一般情況下，液冷系統(tǒng)一次側(cè)設(shè)備及管路的安裝由 基建或機電專業(yè)負(fù)責(zé)，不在數(shù)據(jù)中心硬件系統(tǒng)集成范圍之內(nèi)。但是，因為CDU需要和一次側(cè)管路對接，站點工勘過程中需要重點關(guān)注一次側(cè)循環(huán)水質(zhì)，一次側(cè)循環(huán)水水質(zhì)的好壞直接影響CDU的換熱效率和使用壽命。為支撐液冷系統(tǒng)長期穩(wěn)定運行，CDU一次側(cè)閉式循環(huán)水系統(tǒng)水質(zhì)關(guān)鍵指標(biāo)項見表3。
3.2 設(shè)備到貨階段
為保障液冷系統(tǒng)氣密性，一般液冷機柜、服務(wù)器和交換機等設(shè)備在出廠時，會在液冷管路中填充保壓氣體。設(shè)備到貨后，除常規(guī)檢查外，首先應(yīng)重點關(guān)注液冷管路完整性，有條件情況下，可以抽測液冷管路中的保壓氣體壓力值是否正常 ；其次，設(shè)備搬運工程時，在遵守安全施工相關(guān)規(guī)章制度的同時，應(yīng)著重關(guān)注承壓管路的保護。
3.3 硬件安裝階段
3.3.1 CDU 及二次側(cè)管路安裝
二次側(cè)管路將 CDU 和末端設(shè)備冷板相連，一般連接方式有直連和環(huán)形管路連接兩種。環(huán)形管路是二次側(cè)回路中的一個關(guān)鍵部件，用于連接CDU的二次側(cè)和機架歧管，實現(xiàn)冷卻工質(zhì)均勻分配 ；環(huán)形管網(wǎng)包含供液環(huán)管、回液環(huán)管、CDU支路、機架歧管支路、排氣裝置和排液口等，用以供液環(huán)管和回液環(huán)管分別形成環(huán)狀閉合回路，且提高環(huán)狀閉合回路系統(tǒng)的流量均勻性。另外， 環(huán)形管網(wǎng)中無死端，液體一直處于流動狀態(tài)，不易變質(zhì)。
每個CDU支路和機架支路上都安裝有閥門連接CDU和機架歧管，便于單個設(shè)備的維護。為確保局部管段檢修或發(fā)生故障時，其它管段能正常運行，不間斷供液， 應(yīng)采用閥門將環(huán)形管網(wǎng)分成若干獨立段，一般相鄰機架管路段之間用閥門隔開，也可將多個機架管路隔開。
3.3.2 主設(shè)備安裝前檢查
主設(shè)備安裝前，需要對CDU及二次側(cè)管路的氣密性進行檢查，進行泄露檢測與干預(yù)。減少泄漏的主要方法是采用穩(wěn)健的泄漏預(yù)防策略。同時，在實際設(shè)備安裝操作中，需要制定完善的泄漏管理計劃，管理計劃包括泄漏檢測和干預(yù)，且需要滿足數(shù)據(jù)中心的設(shè)施運行要求。
在二次側(cè)冷卻回路中，需要在不同存在泄漏風(fēng)險的位置進行檢測，如CDU、機架、快換接頭、計算節(jié)點等， 可采用間接檢測方法，通過監(jiān)測和分析現(xiàn)有硬件和傳感器的狀態(tài)，檢測并識別到管路中與泄漏特征匹配的微小壓降或流量變化。而直接檢測方法是在高風(fēng)險區(qū)域部署專用泄漏檢測硬件。典型的直接檢測裝置為點探測器、薄膜檢測帶或泄漏檢測線纜，當(dāng)其與泄漏的導(dǎo)電冷卻液接觸時會記錄并告警。為了進行可靠的泄漏檢測， 其傳感器應(yīng)放置在發(fā)生泄漏時冷卻工質(zhì)與之直接接觸或有可能聚集后再接觸的區(qū)域，如機架、CDU、二次側(cè)環(huán)路管道等設(shè)施的下方，以檢測二次側(cè)環(huán)路管路和機架之間或冷卻工質(zhì)輸送過程中的潛在泄漏風(fēng)險。
3.3.3 主設(shè)備安裝
服務(wù)器和交換機等設(shè)備安裝需要根據(jù)工程設(shè)計圖紙及集成方案組織相關(guān)工作。設(shè)備安裝前需要做好機房內(nèi)部成品防護工作，避免給機房環(huán)境帶來破壞。設(shè)備安裝需提前完成設(shè)備出庫和拆包裝等工序，組織施工人員進行技術(shù)培訓(xùn)，聯(lián)合設(shè)備廠家進行設(shè)備安裝指導(dǎo)，避免設(shè)備安裝方式錯誤導(dǎo)致設(shè)備損壞的情況。
針對采用冷板式冷卻方式的液冷設(shè)備及機柜的安裝，流程如圖4所示。
在設(shè)備安裝過程中，重點需要進行氣密性檢查，各設(shè)備檢查內(nèi)容見表4。
3.3.4 標(biāo)簽粘貼
設(shè)備安裝、綜合布線等工作完成后，除常規(guī)進行設(shè)備和線纜等部件的標(biāo)簽標(biāo)記工作外，還應(yīng)注意對液冷管路的標(biāo)簽標(biāo)記。在標(biāo)簽制作與粘貼的過程中，標(biāo)簽的顏色、尺寸、內(nèi)容、格式和粘帖位置等需符合工程建設(shè)項目相關(guān)要求。
3.4 集成調(diào)測階段
主設(shè)備及液冷系統(tǒng)安裝完成后，需要對安裝完成后的設(shè)備/系統(tǒng)進行集成調(diào)測。除常規(guī)進行網(wǎng)絡(luò)、服務(wù)器、存儲和安全等設(shè)備的基礎(chǔ)調(diào)測，還需要對液冷系統(tǒng)進行集成調(diào)測，其中主要完成CDU設(shè)備的調(diào)測。CDU設(shè)備調(diào)測的主要內(nèi)容包括登錄參數(shù)設(shè)置、電磁閥/傳感器控制策略設(shè)置和告警設(shè)置等。
3.5 驗收測試階段
集成測試工作完成，且所有測試項均達(dá)到測試標(biāo)準(zhǔn)后，可以組織硬件集成的驗收工作。整體驗收過程應(yīng)參考驗收規(guī)范要求，涵蓋機房環(huán)境、硬件安裝工藝檢查、設(shè)備 配置、連通性及健壯性、安全性等內(nèi)容。針對液冷數(shù)據(jù)中心硬件集成系統(tǒng)，需著重關(guān)注的驗收測試內(nèi)容見表5。
4 結(jié)束語
中國“雙碳”目標(biāo)的提出，對數(shù)據(jù)中心發(fā)展提出更高的能耗要求。液冷行業(yè)也在不斷完善產(chǎn)業(yè)鏈，提高原材料和配件的通用性和可獲得性，降低成本。為積極應(yīng)對液冷數(shù)據(jù)中心建設(shè)提出的新要求，液冷數(shù)據(jù)中心硬件系統(tǒng)集成工作急需更新與適配，針對不同液冷技術(shù)方案， 形成標(biāo)準(zhǔn)的、可執(zhí)行的硬件系統(tǒng)集成作業(yè)模式，推動液冷數(shù)據(jù)中心硬件系統(tǒng)集成工作的高質(zhì)量發(fā)展。
