中國(guó)儲(chǔ)能網(wǎng)訊：伴隨云計(jì)算、大數(shù)據(jù)、人工智能等技術(shù)的發(fā)展和應(yīng)用，作為信息基礎(chǔ)設(shè)施的數(shù)據(jù)中心及相關(guān)設(shè)備承擔(dān)的計(jì)算量越來(lái)越大，數(shù)據(jù)中心服務(wù)器及通信設(shè)備自身處理能力和集成度不斷提高，同時(shí)也帶來(lái)了功率密度節(jié)節(jié)攀升的問(wèn)題，高熱密度給制冷設(shè)備和技術(shù)提出了更高要求。受限于物理空間以及空氣比熱容低的特性，風(fēng)冷技術(shù)難以滿足高功率元器件散熱負(fù)荷需求，如圖1所示。
同時(shí)，國(guó)家層面不斷推進(jìn)數(shù)據(jù)中心綠色低碳建設(shè)要求，工信部等七部委聯(lián)合印發(fā)的《信息通信行業(yè)綠色低碳發(fā)展行動(dòng)計(jì)劃(2022-2025年)》中明確提到，到2025年，全國(guó)新建大型、超大型數(shù)據(jù)中心能源利用效率（PUE）降到1.3以下。液體的冷卻能力是空氣的1000～3000倍，液冷技術(shù)以其高效的散熱能力，成為降低數(shù)據(jù)中心PUE的有效手段。
綜上所述，在數(shù)據(jù)中心建設(shè)引入液冷技術(shù)的必要前提下，需要統(tǒng)籌考慮液冷技術(shù)引入對(duì)數(shù)據(jù)中心硬件系統(tǒng)集成建設(shè)提出的新挑戰(zhàn)。本文將重點(diǎn)介紹冷板式、浸沒(méi)式、噴淋式液冷技術(shù)路線，聚焦冷板式液冷場(chǎng)景下數(shù)據(jù)中心硬件系統(tǒng)集成的技術(shù)要求，提出冷板式液冷場(chǎng)景下數(shù)據(jù)中心硬件系統(tǒng)集成方案。
1 液冷技術(shù)
液冷技術(shù)是一種以液體作為冷媒，利用液體流動(dòng)將數(shù)據(jù)中心ICT設(shè)備內(nèi)部元器件產(chǎn)生的熱量傳遞到設(shè)備外，使ICT設(shè)備的發(fā)熱部件得到冷卻，從而保證ICT設(shè)備安全運(yùn)行。根據(jù)接觸方式的不同，液冷技術(shù)可分為間接接觸型液冷（冷板式液冷）和直接接觸型液冷（浸沒(méi)式液冷和噴淋式液冷）。
1.1 間接接觸型液冷技術(shù)
間接接觸型液冷以冷板式液冷技術(shù)為主，該種技術(shù)路線將液冷冷板固定在ICT設(shè)備的主要發(fā)熱器件上， ICT設(shè)備熱源與冷卻液之間沒(méi)有直接接觸，通過(guò)液體流經(jīng)冷板帶走熱量，從而散熱。
冷板式液冷技術(shù)的邏輯架構(gòu)如圖2所示。其主要組件如下。
冷卻塔指將液體回路產(chǎn)生的熱量散布到室外空氣中的設(shè)備，一般情況下置于室外。
液冷分配單元（CDU）指對(duì)液冷電子設(shè)備進(jìn)行冷卻液體流量分配，主要有兩種物理形態(tài)，分別為柜式CDU（外置于全液冷機(jī)柜）和框式CDU（內(nèi)置于全液冷柜）。
液冷機(jī)柜指用于冷卻液體的進(jìn)出，并冷卻電子設(shè)備的裝置。
一次側(cè)也叫一次管路，指連接冷卻塔到液冷分配單元及液冷機(jī)柜的循環(huán)水系統(tǒng)。
二次側(cè)也叫二次管路，用于連接液冷分配單元到液冷元器件（液冷機(jī)柜中）的冷卻循環(huán)水系統(tǒng)。其中， 供回液歧管作為二次側(cè)回路中的關(guān)鍵部件之一，可分配流入或流出液冷機(jī)架內(nèi)設(shè)備的冷卻工質(zhì)。
從應(yīng)用場(chǎng)景、行業(yè)應(yīng)用現(xiàn)狀及技術(shù)本身的優(yōu)劣勢(shì)等多個(gè)方面對(duì)冷板式液冷技術(shù)進(jìn)行分析，具體分析結(jié)果見(jiàn)表一。
1.2 直接接觸型液冷技術(shù)
直接接觸型液冷技術(shù)指的是將電子設(shè)備的發(fā)熱部件直接與冷卻液進(jìn)行接觸的冷卻方式，主要包括浸沒(méi)式液冷和噴淋式液冷兩種技術(shù)路線。
浸沒(méi)式液冷指通過(guò)浸沒(méi)電子設(shè)備的發(fā)熱器件，將發(fā)熱器件與冷卻液體直接接觸，通過(guò)熱交換進(jìn)行冷卻。涉及的主要設(shè)備和設(shè)施包括室外冷源、冷卻子系統(tǒng)、液冷管路和浸沒(méi)腔體（液冷機(jī)箱）等。浸沒(méi)式液冷可依據(jù)介質(zhì)是否存在相變化分為單相浸沒(méi)式液冷和相變浸沒(méi)式液冷兩種類型。
單相浸沒(méi)式液冷的實(shí)現(xiàn)原理是通過(guò)浸沒(méi)腔體子系統(tǒng)中的冷卻液對(duì)電子設(shè)備熱負(fù)載直接接觸進(jìn)行吸熱，升溫后的冷卻液在冷卻子系統(tǒng)中的循環(huán)泵和換熱器作用下將熱量傳遞給一次側(cè)冷卻介質(zhì)，最終通過(guò)室外冷源將熱量釋放到室外環(huán)境中。
兩相浸沒(méi)式液冷的實(shí)現(xiàn)原理是通過(guò)浸沒(méi)腔體子系統(tǒng)中冷卻液冷對(duì)電子設(shè)備熱負(fù)載直接接觸式相變吸熱，相變后的氣態(tài)冷媒與浸沒(méi)腔體內(nèi)的冷凝器進(jìn)行熱交換，將熱量傳遞給冷卻介質(zhì)后變成液體，液體受重力作用流回腔體，吸收熱量的冷卻介質(zhì)經(jīng)室外冷源設(shè)備將熱量釋放到室外環(huán)境中。
噴淋式液冷技術(shù)指的是通過(guò)在機(jī)箱頂部?jī)?chǔ)液和開(kāi)孔，對(duì)發(fā)熱的電子器件噴淋冷卻液，從而達(dá)到降溫的目的。涉及的主要設(shè)備和設(shè)施包括室外散熱模塊、冷量分配單元、液冷管路、噴淋液冷機(jī)柜（進(jìn)液箱和回液箱） 等。噴淋式液冷將在冷量分配單元內(nèi)冷卻后的冷卻液泵輸送至噴淋機(jī)柜內(nèi)部 ；冷卻液進(jìn)入機(jī)柜后直接通過(guò)分液器進(jìn)入與設(shè)備相對(duì)應(yīng)的布液裝置進(jìn)行噴淋 ；冷卻液通過(guò)電子設(shè)備中的發(fā)熱器件或與之相連的導(dǎo)熱材料進(jìn)行噴淋制冷 ；被加熱后的冷卻液通過(guò)回液箱進(jìn)行收集，并通過(guò)泵輸送至冷量分配單元進(jìn)行下一個(gè)制冷循環(huán)。
針對(duì)浸沒(méi)式液冷技術(shù)和噴淋式液冷技術(shù)，分別從應(yīng)用場(chǎng)景、行業(yè)應(yīng)用現(xiàn)狀及技術(shù)本身的優(yōu)劣勢(shì)進(jìn)行多維度分析，具體分析結(jié)果見(jiàn)表 2。
2 傳統(tǒng)數(shù)據(jù)中心硬件系統(tǒng)集成方案
傳統(tǒng)數(shù)據(jù)中心硬件系統(tǒng)集成主要完成工程項(xiàng)目中硬件層多廠家、多類型設(shè)備的硬集方案規(guī)劃、集成實(shí)施和聯(lián)調(diào)交付等工作， 是工程設(shè)計(jì)的延伸和落地，為軟件系統(tǒng)集成 入場(chǎng)實(shí)施提供必要的硬件系統(tǒng)環(huán)境。傳統(tǒng)數(shù)據(jù)中心硬件系統(tǒng)集成工作流程如圖3所示。
傳統(tǒng)數(shù)據(jù)中心硬件集成方案中的重點(diǎn)工作環(huán)節(jié)說(shuō)明如下。
集成方案設(shè)計(jì)。對(duì)數(shù)據(jù)中心硬件組網(wǎng)拓?fù)洹C(jī)柜布局、配電情況、物理連線信息、服務(wù)器配置信息、 交換機(jī)端口配置信息、路由配置信息、安全設(shè)備配置信息和設(shè)備管理信息等進(jìn)行規(guī)劃設(shè)計(jì)。
站點(diǎn)工勘。查勘內(nèi)容包括機(jī)房環(huán)境、機(jī)柜布局、 機(jī)架功率、橋架路由、供電方式和冷卻方式等。根據(jù)查勘結(jié)果，依據(jù)工程分工界面，對(duì)項(xiàng)目所需如線纜等材料的長(zhǎng)度、顏色等規(guī)格做出明確采購(gòu)方案，對(duì)機(jī)房?jī)?nèi)必要 改造所需輔材制定明確采購(gòu)方案。
輔材提供。根據(jù)設(shè)計(jì)圖紙和分工界面，由對(duì)應(yīng)責(zé)任單位提供相關(guān)輔材。輔材主要包括線纜和工程建設(shè)所需的必要輔材，如扎帶、加強(qiáng)型托盤、L托架、冷壓端子、魔術(shù)貼、光纖套管、繞纖筒、下纖槽、工業(yè)連接器、標(biāo)簽、 銅鼻子、纏繞管、接線柱、理線架和保溫棉等。
硬件安裝督導(dǎo)。督導(dǎo)數(shù)據(jù)中心工程建設(shè)項(xiàng)目所有主設(shè)備安裝上架、加電，督導(dǎo)完成所有線纜布放及互聯(lián)，且完成相應(yīng)網(wǎng)絡(luò)互通配置。設(shè)備及配套材料安裝需符合相關(guān)工藝標(biāo)準(zhǔn)和要求。
設(shè)備初始化調(diào)測(cè)。完成所有硬件設(shè)備本機(jī)基礎(chǔ)配置與調(diào)測(cè)，如服務(wù)器BMC、RAID、BIOS等配置與調(diào)測(cè)，硬件管理接入交換機(jī)、管理核心交換機(jī)等的基礎(chǔ)配置與調(diào)測(cè)，完成硬件管理網(wǎng)絡(luò)互通。
連通性測(cè)試。數(shù)據(jù)中心工程建設(shè)項(xiàng)目所有硬件設(shè)備以集成設(shè)計(jì)方案為準(zhǔn)繩進(jìn)行配置檢查，電源和物理線纜按設(shè)計(jì)完成連接和互通性測(cè)試，確認(rèn)所有設(shè)備硬件管理IP地址可達(dá)。
配合軟件集成商。配合軟件集成商完成技術(shù)方案中所涉及的各種設(shè)備組網(wǎng)、業(yè)務(wù)功能分析等。配合進(jìn)行軟硬件系統(tǒng)部署調(diào)測(cè)，對(duì)軟件集成過(guò)程中產(chǎn)生的計(jì)算、 網(wǎng)絡(luò)和存儲(chǔ)等資源需求的變更進(jìn)行相應(yīng)調(diào)整，協(xié)助軟件集成商進(jìn)行軟硬件多廠家間問(wèn)題界定、協(xié)調(diào)與管理。
3 液冷數(shù)據(jù)中心硬件系統(tǒng)集成技術(shù)方案
液冷場(chǎng)景下的數(shù)據(jù)中心硬件系統(tǒng)集成方案，應(yīng)在參照傳統(tǒng)數(shù)據(jù)中心硬件系統(tǒng)集成流程的基礎(chǔ)上，在集成規(guī)劃、集成實(shí)施和聯(lián)調(diào)交付階段針對(duì)液冷數(shù)據(jù)中心技術(shù)特點(diǎn)進(jìn)行調(diào)整與適配，以滿足液冷數(shù)據(jù)中心工程建設(shè)要求。下面將以當(dāng)前成熟度最高、市場(chǎng)應(yīng)用最為廣泛的冷板式液冷技術(shù)方案為例，對(duì)液冷數(shù)據(jù)中心硬件系統(tǒng)集成的重點(diǎn)環(huán)節(jié)進(jìn)行分析。
3.1 站點(diǎn)工勘階段
一般情況下，液冷系統(tǒng)一次側(cè)設(shè)備及管路的安裝由 基建或機(jī)電專業(yè)負(fù)責(zé)，不在數(shù)據(jù)中心硬件系統(tǒng)集成范圍之內(nèi)。但是，因?yàn)镃DU需要和一次側(cè)管路對(duì)接，站點(diǎn)工勘過(guò)程中需要重點(diǎn)關(guān)注一次側(cè)循環(huán)水質(zhì)，一次側(cè)循環(huán)水水質(zhì)的好壞直接影響CDU的換熱效率和使用壽命。為支撐液冷系統(tǒng)長(zhǎng)期穩(wěn)定運(yùn)行，CDU一次側(cè)閉式循環(huán)水系統(tǒng)水質(zhì)關(guān)鍵指標(biāo)項(xiàng)見(jiàn)表3。
3.2 設(shè)備到貨階段
為保障液冷系統(tǒng)氣密性，一般液冷機(jī)柜、服務(wù)器和交換機(jī)等設(shè)備在出廠時(shí)，會(huì)在液冷管路中填充保壓氣體。設(shè)備到貨后，除常規(guī)檢查外，首先應(yīng)重點(diǎn)關(guān)注液冷管路完整性，有條件情況下，可以抽測(cè)液冷管路中的保壓氣體壓力值是否正常 ；其次，設(shè)備搬運(yùn)工程時(shí)，在遵守安全施工相關(guān)規(guī)章制度的同時(shí)，應(yīng)著重關(guān)注承壓管路的保護(hù)。
3.3 硬件安裝階段
3.3.1 CDU 及二次側(cè)管路安裝
二次側(cè)管路將 CDU 和末端設(shè)備冷板相連，一般連接方式有直連和環(huán)形管路連接兩種。環(huán)形管路是二次側(cè)回路中的一個(gè)關(guān)鍵部件，用于連接CDU的二次側(cè)和機(jī)架歧管，實(shí)現(xiàn)冷卻工質(zhì)均勻分配 ；環(huán)形管網(wǎng)包含供液環(huán)管、回液環(huán)管、CDU支路、機(jī)架歧管支路、排氣裝置和排液口等，用以供液環(huán)管和回液環(huán)管分別形成環(huán)狀閉合回路，且提高環(huán)狀閉合回路系統(tǒng)的流量均勻性。另外， 環(huán)形管網(wǎng)中無(wú)死端，液體一直處于流動(dòng)狀態(tài)，不易變質(zhì)。
每個(gè)CDU支路和機(jī)架支路上都安裝有閥門連接CDU和機(jī)架歧管，便于單個(gè)設(shè)備的維護(hù)。為確保局部管段檢修或發(fā)生故障時(shí)，其它管段能正常運(yùn)行，不間斷供液， 應(yīng)采用閥門將環(huán)形管網(wǎng)分成若干獨(dú)立段，一般相鄰機(jī)架管路段之間用閥門隔開(kāi)，也可將多個(gè)機(jī)架管路隔開(kāi)。
3.3.2 主設(shè)備安裝前檢查
主設(shè)備安裝前，需要對(duì)CDU及二次側(cè)管路的氣密性進(jìn)行檢查，進(jìn)行泄露檢測(cè)與干預(yù)。減少泄漏的主要方法是采用穩(wěn)健的泄漏預(yù)防策略。同時(shí)，在實(shí)際設(shè)備安裝操作中，需要制定完善的泄漏管理計(jì)劃，管理計(jì)劃包括泄漏檢測(cè)和干預(yù)，且需要滿足數(shù)據(jù)中心的設(shè)施運(yùn)行要求。
在二次側(cè)冷卻回路中，需要在不同存在泄漏風(fēng)險(xiǎn)的位置進(jìn)行檢測(cè)，如CDU、機(jī)架、快換接頭、計(jì)算節(jié)點(diǎn)等， 可采用間接檢測(cè)方法，通過(guò)監(jiān)測(cè)和分析現(xiàn)有硬件和傳感器的狀態(tài)，檢測(cè)并識(shí)別到管路中與泄漏特征匹配的微小壓降或流量變化。而直接檢測(cè)方法是在高風(fēng)險(xiǎn)區(qū)域部署專用泄漏檢測(cè)硬件。典型的直接檢測(cè)裝置為點(diǎn)探測(cè)器、薄膜檢測(cè)帶或泄漏檢測(cè)線纜，當(dāng)其與泄漏的導(dǎo)電冷卻液接觸時(shí)會(huì)記錄并告警。為了進(jìn)行可靠的泄漏檢測(cè)， 其傳感器應(yīng)放置在發(fā)生泄漏時(shí)冷卻工質(zhì)與之直接接觸或有可能聚集后再接觸的區(qū)域，如機(jī)架、CDU、二次側(cè)環(huán)路管道等設(shè)施的下方，以檢測(cè)二次側(cè)環(huán)路管路和機(jī)架之間或冷卻工質(zhì)輸送過(guò)程中的潛在泄漏風(fēng)險(xiǎn)。
3.3.3 主設(shè)備安裝
服務(wù)器和交換機(jī)等設(shè)備安裝需要根據(jù)工程設(shè)計(jì)圖紙及集成方案組織相關(guān)工作。設(shè)備安裝前需要做好機(jī)房?jī)?nèi)部成品防護(hù)工作，避免給機(jī)房環(huán)境帶來(lái)破壞。設(shè)備安裝需提前完成設(shè)備出庫(kù)和拆包裝等工序，組織施工人員進(jìn)行技術(shù)培訓(xùn)，聯(lián)合設(shè)備廠家進(jìn)行設(shè)備安裝指導(dǎo)，避免設(shè)備安裝方式錯(cuò)誤導(dǎo)致設(shè)備損壞的情況。
針對(duì)采用冷板式冷卻方式的液冷設(shè)備及機(jī)柜的安裝，流程如圖4所示。
在設(shè)備安裝過(guò)程中，重點(diǎn)需要進(jìn)行氣密性檢查，各設(shè)備檢查內(nèi)容見(jiàn)表4。
3.3.4 標(biāo)簽粘貼
設(shè)備安裝、綜合布線等工作完成后，除常規(guī)進(jìn)行設(shè)備和線纜等部件的標(biāo)簽標(biāo)記工作外，還應(yīng)注意對(duì)液冷管路的標(biāo)簽標(biāo)記。在標(biāo)簽制作與粘貼的過(guò)程中，標(biāo)簽的顏色、尺寸、內(nèi)容、格式和粘帖位置等需符合工程建設(shè)項(xiàng)目相關(guān)要求。
3.4 集成調(diào)測(cè)階段
主設(shè)備及液冷系統(tǒng)安裝完成后，需要對(duì)安裝完成后的設(shè)備/系統(tǒng)進(jìn)行集成調(diào)測(cè)。除常規(guī)進(jìn)行網(wǎng)絡(luò)、服務(wù)器、存儲(chǔ)和安全等設(shè)備的基礎(chǔ)調(diào)測(cè)，還需要對(duì)液冷系統(tǒng)進(jìn)行集成調(diào)測(cè)，其中主要完成CDU設(shè)備的調(diào)測(cè)。CDU設(shè)備調(diào)測(cè)的主要內(nèi)容包括登錄參數(shù)設(shè)置、電磁閥/傳感器控制策略設(shè)置和告警設(shè)置等。
3.5 驗(yàn)收測(cè)試階段
集成測(cè)試工作完成，且所有測(cè)試項(xiàng)均達(dá)到測(cè)試標(biāo)準(zhǔn)后，可以組織硬件集成的驗(yàn)收工作。整體驗(yàn)收過(guò)程應(yīng)參考驗(yàn)收規(guī)范要求，涵蓋機(jī)房環(huán)境、硬件安裝工藝檢查、設(shè)備 配置、連通性及健壯性、安全性等內(nèi)容。針對(duì)液冷數(shù)據(jù)中心硬件集成系統(tǒng)，需著重關(guān)注的驗(yàn)收測(cè)試內(nèi)容見(jiàn)表5。
4 結(jié)束語(yǔ)
中國(guó)“雙碳”目標(biāo)的提出，對(duì)數(shù)據(jù)中心發(fā)展提出更高的能耗要求。液冷行業(yè)也在不斷完善產(chǎn)業(yè)鏈，提高原材料和配件的通用性和可獲得性，降低成本。為積極應(yīng)對(duì)液冷數(shù)據(jù)中心建設(shè)提出的新要求，液冷數(shù)據(jù)中心硬件系統(tǒng)集成工作急需更新與適配，針對(duì)不同液冷技術(shù)方案， 形成標(biāo)準(zhǔn)的、可執(zhí)行的硬件系統(tǒng)集成作業(yè)模式，推動(dòng)液冷數(shù)據(jù)中心硬件系統(tǒng)集成工作的高質(zhì)量發(fā)展。
