中國(guó)儲(chǔ)能網(wǎng)訊：
摘要：液冷技術(shù)是解決數(shù)據(jù)中心節(jié)能降碳的重要手段，尤其是單相浸沒(méi)液冷冷卻技術(shù)，節(jié)能效果顯著，應(yīng)用日漸成熟可靠，逐漸受到業(yè)內(nèi)青睞和選擇。但液冷技術(shù)的應(yīng)用和設(shè)計(jì)相對(duì)傳統(tǒng)機(jī)房暖通設(shè)計(jì)有一定的差異和不同，加之當(dāng)前落地的液冷數(shù)據(jù)中心項(xiàng)目比較有限，從業(yè)人員對(duì)此相對(duì)比較陌生，結(jié)合液冷項(xiàng)目實(shí)踐，分析了浸沒(méi)液冷技術(shù)的特點(diǎn)以及和傳統(tǒng)冷卻方式設(shè)計(jì)上的差異，總結(jié)了設(shè)計(jì)關(guān)鍵點(diǎn)，尤其是液冷冷卻液系統(tǒng)的設(shè)計(jì)；針對(duì)新建和改造的液冷數(shù)據(jù)中心，對(duì)冷源的選擇以及冷卻水系統(tǒng)的設(shè)計(jì)提出了不同的方案，為后續(xù)液冷技術(shù)的應(yīng)用提供參考和探討。
關(guān)鍵詞：單相浸沒(méi)液冷；數(shù)據(jù)中心；液冷機(jī)柜；冷卻液；CDU；冷卻水
算力是數(shù)字經(jīng)濟(jì)的重要發(fā)展要素，是推動(dòng)數(shù)字經(jīng)濟(jì)發(fā)展的核心支撐力；數(shù)據(jù)中心作為算力的主要承載體，其發(fā)展和規(guī)?；ㄔO(shè)不可或缺。但數(shù)據(jù)中心運(yùn)行消耗了大量的電力資源，據(jù)有關(guān)部門統(tǒng)計(jì)，2021年我國(guó)數(shù)據(jù)中心年用電量已占全社會(huì)用電的2%左右[1]，使用綠色能源以及節(jié)能降碳成了數(shù)據(jù)中心重要目標(biāo)和課題，尤其是新建數(shù)據(jù)中心，國(guó)家標(biāo)準(zhǔn)以及各地政策均對(duì)電能使用效率（PUE）提出了嚴(yán)格的要求和限制[2-4]。
在國(guó)家雙碳戰(zhàn)略背景下，以及各地對(duì)PUE的嚴(yán)格限制下，數(shù)據(jù)中心領(lǐng)域各種節(jié)能技術(shù)百花齊放，液冷以其先天節(jié)能的屬性逐漸受到青睞。尤其是在夏熱冬冷，夏熱冬暖，溫和地區(qū)區(qū)域，液冷技術(shù)節(jié)能效果尤其顯著。當(dāng)前，主要使用的液冷技術(shù)分為間接接觸的冷板液冷，相變液冷以及單相浸沒(méi)液冷和單相噴淋，各有自身的優(yōu)劣勢(shì)[5-6]，筆者結(jié)合參與落地的采用單相浸沒(méi)液冷冷卻技術(shù)的數(shù)據(jù)中心，分析和總結(jié)一些實(shí)踐思考供同行探討，以便后續(xù)液冷項(xiàng)目更好的落地。
1、浸沒(méi)液冷相比傳統(tǒng)冷卻系統(tǒng)的不同
浸沒(méi)液冷技術(shù)主要是利用特定液體的兩大特點(diǎn)，即液體高效換熱特性和良好的絕緣性，對(duì)服務(wù)器進(jìn)行冷卻。系統(tǒng)架構(gòu)比較簡(jiǎn)潔，具體循環(huán)流程見(jiàn)圖 1，圖中液冷機(jī)柜用于浸沒(méi)服務(wù)器見(jiàn)圖 2，冷卻液分配單元（CDU）用于控制熱交換和驅(qū)動(dòng)冷卻液循環(huán)，冷卻塔（或者干冷器）為整個(gè)液冷系統(tǒng)運(yùn)行散熱的“冷源”。
從流程圖來(lái)看，浸沒(méi)液冷已經(jīng)不再需要依賴壓縮機(jī)制冷，主要依靠自然冷源進(jìn)行熱交換。相比傳統(tǒng)風(fēng)冷服務(wù)器的冷凍水（或者直膨機(jī)）系統(tǒng)，浸沒(méi)液冷主要特點(diǎn)如下：
1）液冷機(jī)柜和冷卻循環(huán)系統(tǒng)耦合度非常高，設(shè)計(jì)需要更加關(guān)注液冷機(jī)柜和CDU組成的循環(huán)系統(tǒng)；
2）浸沒(méi)液冷機(jī)柜內(nèi)的服務(wù)器從傳統(tǒng)的水平插拔變成了垂直上下安裝，插拔方式的變化導(dǎo)致平面布置的機(jī)柜率下降，設(shè)計(jì)需要更加關(guān)注液冷機(jī)柜的排布以提高出柜率。
3）冷卻液成本較高，在系統(tǒng)設(shè)計(jì)過(guò)程中需要關(guān)注如何降低冷卻液的用量。
4）機(jī)柜內(nèi)充滿了冷卻液，不同冷卻液密度不同，設(shè)計(jì)過(guò)程中需要關(guān)注到樓板承重。如下是某項(xiàng)目A和某項(xiàng)目B結(jié)合如上原則，設(shè)計(jì)的兩種不同布置方案。系統(tǒng)架構(gòu)為2個(gè)CDU（1用1備）連接6個(gè)液冷機(jī)柜，組成一套冷卻液循環(huán)系統(tǒng)，再通過(guò)冷卻水管路連接所有CDU，組成整個(gè)冷卻水系統(tǒng)，所有管路均布置到架空地板下，見(jiàn)圖 3~圖 6。
兩種方案均是基于如上分析的原則設(shè)計(jì)：
1）將液冷機(jī)柜背靠背或者面對(duì)面規(guī)?；贾?，再通過(guò)CDU連接盡可能多的液冷機(jī)柜，類似多聯(lián)機(jī)一拖多的方式，提高出柜率。
2）將液冷機(jī)柜和CDU就近布置，縮短冷卻液循環(huán)的距離，減少管路系統(tǒng)的冷卻液用量；
3）將CDU集中布置到一個(gè)區(qū)域或者集中到幾個(gè)有序區(qū)域，使液冷設(shè)備管路和冷卻水管路有明確的物理分區(qū)，一方面可以使各功能區(qū)有序布局，另一方面能夠更加簡(jiǎn)潔的實(shí)現(xiàn)冷卻水管路和閥門冗余設(shè)計(jì)。
兩種方案相似但有不同，最明顯的差異是冷卻液管路的不同。為了實(shí)現(xiàn)冷卻液循環(huán)的連續(xù)性，避免單點(diǎn)故障，根據(jù)各自建筑條件，項(xiàng)目A冷卻液管路采用雙供雙回的方式，項(xiàng)目B采用環(huán)形管路的方式，均可實(shí)現(xiàn)系統(tǒng)的冗余，見(jiàn)圖 5 和圖 6。通過(guò)對(duì)比分析，兩種方式實(shí)現(xiàn)的功能和可靠性是一致的，系統(tǒng)管路各有特點(diǎn)，實(shí)際應(yīng)用過(guò)程中可以結(jié)合不同建筑布局、尺寸面積、出柜率，以及運(yùn)維通道等進(jìn)行選擇。
2、新建浸沒(méi)液冷數(shù)據(jù)中心冷源的選擇
新建浸沒(méi)液冷數(shù)據(jù)中心，除液冷機(jī)柜和CDU外，冷源選擇至關(guān)重要。由于液體的高效換熱特性，允許冷卻液在供液溫度遠(yuǎn)高于風(fēng)冷環(huán)境的溫度工況下運(yùn)行，依然保持CPU核心溫度良好。根據(jù)中國(guó)電子學(xué)會(huì)發(fā)布的規(guī)范，液體供液溫度可以在25℃~50℃范圍內(nèi)運(yùn)行[7]，在這樣廣而高的溫度范圍內(nèi)，可以有多種換熱冷源選擇，通常比較經(jīng)濟(jì)和可靠的是干冷器和冷卻塔，如果周邊有可利用的廢水廢冷，也是一種好的選擇。對(duì)于小規(guī)模的液冷，冷源常以干冷器為主，冷卻液通過(guò)干冷器和室外空氣進(jìn)行換熱，系統(tǒng)部件少控制簡(jiǎn)單。對(duì)于稍有規(guī)模體量的機(jī)房，冷源以冷卻塔為主。冷卻塔選擇開(kāi)式冷卻塔還是閉式冷卻塔，也是實(shí)際項(xiàng)目中最難以抉擇的。
筆者結(jié)合兩種冷卻塔實(shí)際運(yùn)行情況，對(duì)比分析兩者的優(yōu)缺點(diǎn)。閉式冷卻塔由于冷卻水不與外界環(huán)境直接接觸，水質(zhì)易于控制是其最大的優(yōu)點(diǎn)，也是很多設(shè)計(jì)師的優(yōu)先選擇。但在實(shí)際項(xiàng)目落地過(guò)程中發(fā)現(xiàn)，閉式冷卻塔體積大占地面積多，價(jià)格較高，同等設(shè)計(jì)工況下閉式塔要比開(kāi)式塔價(jià)格高3倍~5倍；尤其是數(shù)據(jù)中心行業(yè)對(duì)設(shè)備品牌比較注重，使得閉式冷卻塔占了不小比例的投資成本。其次，對(duì)于北方寒冷地區(qū)如果使用閉式冷卻塔，管路中還需要投加乙二醇，乙二醇屬于有機(jī)物，容易滋生細(xì)菌微生物；長(zhǎng)時(shí)間運(yùn)行后，乙二醇水溶液如果控制不好易被氧化，形成羧酸等，腐蝕管道和換熱盤管[8-9]，圖 7 是某項(xiàng)目閉式塔加乙二醇運(yùn)行后的水質(zhì)，已經(jīng)有明顯的腐蝕。另外，閉式冷卻塔由于利用水的噴淋進(jìn)行熱交換，多增加一個(gè)耗電設(shè)備噴淋泵；同時(shí)，對(duì)于添加乙二醇的冷卻水，由于乙二醇比熱容較低為2.35kJ/kg·℃，只有水的一半左右，導(dǎo)致系統(tǒng)循環(huán)換熱效率降低，根據(jù)不同乙二醇添加比例，系統(tǒng)運(yùn)行功耗增加約10%~20%。如果能權(quán)衡應(yīng)對(duì)好如上優(yōu)缺點(diǎn)，閉式塔將會(huì)是一個(gè)系統(tǒng)運(yùn)行良好的選擇。
開(kāi)式塔在常規(guī)冷凍水系統(tǒng)中使用較普遍，優(yōu)點(diǎn)之一價(jià)格較低。其次，開(kāi)式塔系統(tǒng)簡(jiǎn)潔，不需要閉式系統(tǒng)的定壓裝置，沒(méi)有噴淋泵，無(wú)需添加乙二醇防凍，運(yùn)行維護(hù)簡(jiǎn)單。且同等工況下設(shè)備功率低，甚至可以選擇一些無(wú)風(fēng)機(jī)冷卻塔來(lái)搭配運(yùn)行，可以把PUE降到極致。但開(kāi)式塔最大的缺點(diǎn)就是循環(huán)水與外界環(huán)境直接接觸，需重點(diǎn)關(guān)注水質(zhì)處理，目前開(kāi)式塔系統(tǒng)水質(zhì)控制好和壞的案例均存在，一方面是水處理廠家參差不齊的原因，另一方面是碳鋼管道自身在開(kāi)式系統(tǒng)中容易腐蝕。筆者有幸參與開(kāi)式塔系統(tǒng)水質(zhì)控制良好的項(xiàng)目，見(jiàn)圖 8水質(zhì)清澈良好。具體措施為采用鍍鋅管道法蘭連接，而非采用碳鋼管道外表面刷防銹漆的方式，采用鍍鋅管道的系統(tǒng)，日常運(yùn)行只需要應(yīng)對(duì)結(jié)垢和夏季藻類細(xì)菌滋生的問(wèn)題，水處理的成本大幅降低。且使用鍍鋅管道造成的成本增加不到管路成本的10%，完全可以從水處理減少的費(fèi)用中來(lái)覆蓋這部分增加。通過(guò)如上措施，不但能節(jié)約成本，還能良好的控制水質(zhì)，以及減少水處理化學(xué)品的使用。
筆者從不同方面分析對(duì)比了兩種類型的塔在實(shí)際使用中的優(yōu)缺點(diǎn)及應(yīng)對(duì)措施，實(shí)際項(xiàng)目中可以結(jié)合如上分析有針對(duì)性的選擇。就筆者個(gè)人觀點(diǎn)而言，建議選擇開(kāi)式冷卻塔，當(dāng)前，浸沒(méi)液冷還沒(méi)有大規(guī)模使用，液冷設(shè)備和冷卻液的成本相對(duì)較高，使用開(kāi)式冷卻塔可以適當(dāng)降低每kW服務(wù)器功率的造價(jià)指標(biāo)，通過(guò)采取適當(dāng)?shù)拇胧┯帜芰己玫目刂扑|(zhì)，在滿足功能的前提性，造價(jià)低的方案將會(huì)是更好的選擇。
3、既有機(jī)房改造為浸沒(méi)液冷機(jī)房冷源的選擇
為踐行推進(jìn)雙碳目標(biāo)，上海和深圳陸續(xù)發(fā)布了實(shí)施方案，尤其是對(duì)于老舊存量數(shù)據(jù)中心機(jī)房，對(duì)能耗不達(dá)標(biāo)的進(jìn)行限制、淘汰以及升級(jí)改造[10-11]，這部分機(jī)房PUE本身比較高，如果在現(xiàn)有系統(tǒng)上做一些改造，PUE下降不明顯，但由風(fēng)冷改造為液冷會(huì)是一種成效顯著的方式。既有機(jī)房改造液冷的難度在于冷源冗余的設(shè)計(jì)。筆者結(jié)合過(guò)往項(xiàng)目實(shí)踐提供如下方案供參考。
方案1）：新增一套冷卻水系統(tǒng)獨(dú)立于現(xiàn)有在用系統(tǒng)，這和新建機(jī)房設(shè)計(jì)基本相似，但大多數(shù)項(xiàng)目通常不具備良好的條件，不同項(xiàng)目會(huì)有不同的制約。
方案 2）：利用舊的現(xiàn)有冷卻水和冷凍水作為液冷冷源的主備來(lái)設(shè)計(jì)。通常改造項(xiàng)目多數(shù)是把現(xiàn)有的風(fēng)冷機(jī)房拆除，利用這部分電力和物理空間改造為液冷機(jī)房，系統(tǒng)就有多余的冷卻水可以使用，作為液冷的主用冷源；同時(shí)原有拆掉的空調(diào)末端有多余的冷凍水管路可以就近使用，這樣就有了備用冷源，雖然使用了壓縮機(jī)產(chǎn)生的高品位的低溫冷凍水，但對(duì)于液冷系統(tǒng)作為應(yīng)急備用，并不會(huì)造成能耗明顯增加，詳見(jiàn)圖 9。
系統(tǒng)改造過(guò)程中，需要特別關(guān)注如下幾方面。一是原有冷卻水系統(tǒng)水質(zhì)運(yùn)行情況，如果水質(zhì)運(yùn)行不良，為避免切換到冷凍水作為冷源運(yùn)行時(shí)污染冷凍水系統(tǒng)，可以在冷凍水回水管路上增加過(guò)濾器進(jìn)行處理后再回到總的冷凍水大管網(wǎng)系統(tǒng)中。二是切換過(guò)程中，需要分別核算下液冷CDU分別在冷卻水系統(tǒng)和冷凍水系統(tǒng)運(yùn)行時(shí)管網(wǎng)的壓力大小，兩者接近最優(yōu)，如果冷凍水運(yùn)行的壓力高于冷卻水運(yùn)行的壓力，切換過(guò)程中重點(diǎn)關(guān)注閥門切換的時(shí)間，同時(shí)要監(jiān)測(cè)好冷凍水系統(tǒng)自身的補(bǔ)水處于正常運(yùn)行工況，避免冷凍水壓力快速下降，影響到自身的運(yùn)行。三是冷卻水管路上的閥門設(shè)置，要避免過(guò)設(shè)計(jì)超配閥門，避免不加分析的直接使用傳統(tǒng)冷凍水系統(tǒng)管路的閥門設(shè)計(jì)方式。按照GB50174-2017《數(shù)據(jù)中心設(shè)計(jì)規(guī)范》，末端設(shè)備如冷凍水精密空調(diào)通常按照N+1設(shè)計(jì)，也即是有1臺(tái)備用；為實(shí)現(xiàn)運(yùn)行過(guò)程中閥門單點(diǎn)故障時(shí)檢修更換，通常末端設(shè)備，會(huì)連續(xù)設(shè)計(jì)2個(gè)閥門，見(jiàn)圖 10[12]，當(dāng)其中一個(gè)閥門故障時(shí)，可以關(guān)閉該故障閥門左右相鄰的閥門，只需要停機(jī)1臺(tái)設(shè)備，而不影響主用設(shè)備數(shù)量的正常使用。但是對(duì)于液冷系統(tǒng)，通常CDU是1用1備，相鄰的一組也是1用1備，兩組CDU之間的閥門，完全可以有原來(lái)的2個(gè)閥門只保留1個(gè)閥門；當(dāng)其中一個(gè)閥門故障時(shí)，可以通過(guò)關(guān)閉A1和A2閥門來(lái)實(shí)現(xiàn)隔斷功能，見(jiàn)圖 11。雖然需要停機(jī)2臺(tái)CDU，但2組設(shè)備各有1臺(tái)備用不會(huì)影響到設(shè)備的正常使用。
通過(guò)如上分析，對(duì)于既有數(shù)據(jù)中心，如上方案2）利用現(xiàn)有冷卻水和冷凍水，既省去了新增冷卻設(shè)備和管道閥門的投資，又實(shí)現(xiàn)了液冷冷卻水系統(tǒng)的冗余和備份，不失為一種推動(dòng)既有機(jī)房改造液冷的經(jīng)濟(jì)性方案。
4、結(jié)語(yǔ)
當(dāng)前我國(guó)數(shù)字經(jīng)濟(jì)蓬勃發(fā)展，特別是5G、人工智能、物聯(lián)網(wǎng)等新技術(shù)的探索和應(yīng)用，促使數(shù)據(jù)中心行業(yè)仍在快速發(fā)展，特別是高功率的服務(wù)器部署越來(lái)越多，液冷技術(shù)不僅很好的解決了高功率機(jī)柜的冷卻散熱問(wèn)題，又能很好的踐行節(jié)能降碳的發(fā)展目標(biāo)。本文針對(duì)單相浸沒(méi)液冷系統(tǒng)的設(shè)計(jì)和應(yīng)用，包括冷卻液和冷卻水系統(tǒng)，新建和老舊數(shù)據(jù)中心機(jī)房，結(jié)合實(shí)例進(jìn)行了分析總結(jié)，形成如下結(jié)論：
1）分析了浸沒(méi)液冷系統(tǒng)的特點(diǎn)，以及和傳統(tǒng)冷凍水方案的不同，總結(jié)了浸沒(méi)液冷暖通設(shè)計(jì)需要關(guān)注的重點(diǎn)；
2）結(jié)合過(guò)往項(xiàng)目的實(shí)踐經(jīng)驗(yàn)，對(duì)比分析了開(kāi)式冷卻塔和閉式冷卻塔作為液冷系統(tǒng)冷源使用的優(yōu)缺點(diǎn)和應(yīng)對(duì)措施，為后續(xù)應(yīng)用提供有針對(duì)性的參考。
3）結(jié)合既有機(jī)房改造液冷機(jī)房的特點(diǎn)，提出了一種液冷冷源系統(tǒng)設(shè)計(jì)的經(jīng)濟(jì)性方案，供業(yè)內(nèi)從業(yè)人員參考和探討。
