中國儲能網(wǎng)訊：貼近熱源，就近制冷成為技術(shù)發(fā)展趨勢，隨著芯片冷板及冷卻液強化換熱的技術(shù)發(fā)展完善，液冷成為業(yè)界新一輪的熱點。
一、引言
隨著云計算和大數(shù)據(jù)技術(shù)的蓬勃發(fā)展IT設(shè)備性能逐步提高直接導(dǎo)致服務(wù)器功耗不斷增加，特別是作為服務(wù)器關(guān)鍵部件的CPU，隨著性能提升功耗增加非常顯著。常見的機房制冷主要依靠空氣冷卻來實現(xiàn)為服務(wù)器降溫的目的，已不能滿足高功率密度設(shè)備的要求。數(shù)據(jù)中心冷卻技術(shù)的解決方案逐漸向電子設(shè)備越來越靠近。從房間移到了機柜列，從機柜列到機架和柜門進行熱交換，到如今在服務(wù)器內(nèi)部冷卻芯片等設(shè)備。貼近熱源，就近制冷成為技術(shù)發(fā)展趨勢，隨著芯片冷板及冷卻液強化換熱的技術(shù)發(fā)展完善，液冷成為業(yè)界新一輪的熱點。
二、液冷的原理和三種形式
根據(jù)目前技術(shù)進程的研究，根據(jù)冷卻原理，將液冷技術(shù)主要分為冷板、浸沒和噴淋三種主要形式。
1、冷板式液冷
冷板式液冷技術(shù)研發(fā)初衷是為了避免冷卻液與服務(wù)器直接接觸，該種技術(shù)針對主要發(fā)熱源CPU和內(nèi)存等部件進行精確制冷。液冷通道由水冷型熱管散熱器、液冷分配單元、液冷維護單元、液冷溫控單元、自然冷卻單元、一次/二次冷卻環(huán)路的管路等構(gòu)成。在冷板式液冷系統(tǒng)中，CPU等大功耗部件采用液冷冷板散熱，其他如硬盤、接口卡等少量發(fā)熱器件仍采用風冷散熱系統(tǒng)。
冷板式液冷技術(shù)是在常規(guī)風冷服務(wù)器基礎(chǔ)上，CPU和內(nèi)存?zhèn)染o貼一塊板式換熱器，芯片的熱量通過熱傳導(dǎo)至板內(nèi)流體，流體為絕緣介質(zhì)，可為去離子水、乙二醇溶液、氟化液等、或相變的熱管(熱管通過換熱器將熱傳導(dǎo)至機房外水系統(tǒng))。冷卻的板片與服務(wù)器的PU/GPU(高熱流密度元件)通過直接接觸將服務(wù)器的主要熱量帶走(冷板內(nèi)有熱管和液體散熱兩種形式)，其余部件(低熱流密度元件)熱量可通過較高溫的風帶走，我們把這種由液冷和氣冷結(jié)合的散熱技術(shù)稱為液/氣雙通道散熱技術(shù)，原理如圖1所示。圖2所示為冷板式服務(wù)器外形。
該技術(shù)相對于傳統(tǒng)的機架式風冷服務(wù)器，資源利用率得到顯著提升，在減少總體擁有成本的同時，顯著增加了數(shù)據(jù)中心的能源利用效率。而且服務(wù)器安裝維護與常規(guī)風冷服務(wù)器基本一致，故該種液冷技術(shù)的運維難度基本和傳統(tǒng)行級空調(diào)一致。
2、浸沒式液冷
浸沒式液冷根據(jù)冷卻工質(zhì)換熱過程中是否相變，可分為相變浸沒式液冷和非相變浸沒式液冷技術(shù)。
非相變浸沒式液冷技術(shù)原理是將IT設(shè)備直接浸沒在絕緣冷卻液中，冷卻液吸收IT設(shè)備產(chǎn)生的熱量后，通過循環(huán)將熱量傳遞給熱交換器中的水，然后通過水循環(huán)將熱量傳遞到室外散熱裝置。該技術(shù)由于服務(wù)器無風扇設(shè)計，噪音更低，噪音值可控制在45dB以下，同時省去了風扇功耗，服務(wù)器整體耗電降低10%以上。如圖3所示為浸沒式液冷原理圖(非相變)。
相變浸沒式液冷技術(shù)原理是將IT設(shè)備浸沒在沸點低于IT設(shè)備工作溫度的冷卻工質(zhì)中，當IT設(shè)備的運行溫度達到冷卻工質(zhì)沸點時，會引起冷卻工質(zhì)的局部沸騰，冷卻工質(zhì)沸騰的過程中帶走IT設(shè)備運行時產(chǎn)生的熱量。如圖4浸沒式液冷原理圖(相變)。
浸沒式液冷具有明顯的優(yōu)勢。首先，在浸沒式液冷中，冷卻液與發(fā)熱設(shè)備直接接觸，具有較低的對流熱阻，傳熱系數(shù)高；其次，冷卻液具有較高的熱導(dǎo)率和比熱容，運行溫度變化率較小；再次，這種方式無需風扇，降低了能耗和噪音，制冷效率高；最后，冷卻液絕緣性能優(yōu)良，閃點高不易燃，且無毒、無害、無腐蝕。所以該液冷技術(shù)適用于對熱流密度、綠色節(jié)能需求高的大型數(shù)據(jù)中心、超級計算、工業(yè)及其他計算領(lǐng)域和科研機構(gòu)，特別是對于地處嚴寒、高海拔地區(qū)，或者地勢較為特殊、空間有限的數(shù)據(jù)中心，以及對環(huán)境噪音要求較高，距離人群辦公、居住場所較近，需要靜音的數(shù)據(jù)中心具有明顯的優(yōu)勢。
3、噴淋式液冷
噴淋式液冷系統(tǒng)采用某種冷卻液并通過冷卻液直接或者間接吸熱帶走器件所釋放的廢熱至IDC外部環(huán)境進行集中散熱的散熱形式。噴淋式液冷主要特征為絕緣非腐蝕特性的冷卻液直接噴淋到發(fā)熱器件表面或者是與發(fā)熱器件接觸的擴展表面上吸熱后并排走，排走的熱流體通過直接與間接與外部環(huán)境大冷源進行熱交換。
噴淋式液冷是指對IT設(shè)備進行改造部署相應(yīng)的噴淋器件。在設(shè)備運行時，有針對性地對發(fā)熱過高器件進行冷卻的一種液冷實現(xiàn)方式。這種方式的特點是不需要對機房基礎(chǔ)設(shè)施做太大的改動，只需要對服務(wù)器進行少量的改造就能實現(xiàn)較好的冷卻性能。噴淋式液冷機柜系統(tǒng)包括噴淋式液冷機柜系統(tǒng)(含管路、布液系統(tǒng)、回液系統(tǒng)和PDU等部件)、液冷服務(wù)器、冷卻液3部分。噴淋式液冷機柜通過管路與室內(nèi)熱交換器相連接，即機柜內(nèi)芯片的廢熱被冷卻液吸收后傳遞到到室內(nèi)熱交換器并與室外熱交換器進行換熱。如圖5為噴淋式液冷系統(tǒng)工藝流程原理圖。
噴淋液冷系統(tǒng)具有器件集成度高、散熱效率強、高效節(jié)能和靜音等特點，是解決大功耗機柜在IDC機房部署以及降低IT系統(tǒng)制冷費用，提升能效，降低TCO的有效手段之一。
三、各種液冷形式的比較和分析
將幾種液冷形式進行比較，如表1所示。目前，冷板式液冷和浸沒式液冷較為常用，噴淋水液冷應(yīng)用較少。現(xiàn)將冷板式和浸沒式液冷的技術(shù)難點和風險進行比較分析，如表2所示。
四、冷板式液冷系統(tǒng)的應(yīng)用
上述三種液冷形式，冷板式液冷的應(yīng)用最為廣泛。在設(shè)計時可以分為兩大類，一種是在機柜外部部署冷卻液分配單元(CDU)，另一種是無冷卻液分配單元(CDU)的形式。
下面對這兩種不同的實現(xiàn)以及設(shè)計的一些注意事項進行詳細描述。
1、含CDU的設(shè)計實施方式
數(shù)據(jù)中心內(nèi)最常見的液體冷卻實施形式是使用CDU將設(shè)施冷卻系統(tǒng)(機房外散熱側(cè))與機柜冷卻系統(tǒng)(機房內(nèi)散熱側(cè))分開。無需將敏感的IT冷卻組件暴露在設(shè)施冷卻系統(tǒng)中。CDU可以位于IT機架內(nèi)，以將液體分配到單個機架內(nèi)的設(shè)備，也可以安裝為將液體分配到多個機架的落地式外部單元。圖6顯示了一個基于CDU的液體冷卻裝置的示例。
CDU除了起到循環(huán)冷卻液的作用外，還將熱量從機柜冷卻系統(tǒng)傳遞到設(shè)施冷卻系統(tǒng)。通過將冷卻液調(diào)節(jié)至高于室溫露點來防止設(shè)備內(nèi)產(chǎn)生冷凝水。并且可以提供靈活多樣的冷卻液溫度滿足不同IT設(shè)備的要求。
2、含CDU的設(shè)計要點
在冷板式液冷系統(tǒng)中，CDU起著至關(guān)重要的作用。如果CDU出現(xiàn)故障，那么整個制冷系統(tǒng)都將面臨癱瘓，因此CDU的設(shè)置須考慮冗余或容錯。CDU中的冷液泵最有可能發(fā)生故障，所以應(yīng)設(shè)置冗余泵。并配有切斷閥，保證可切斷不能正常工作的水泵，實現(xiàn)可在線維護。CDU的電源也需要用UPS電源，使其實現(xiàn)不間斷運行。
調(diào)節(jié)溫度是CDU的主要功能之一，可通過使用旁路回路，比例控制閥、變速泵等來控制CDU提供的供水溫度，以響應(yīng)設(shè)備水溫和熱負荷的變化。供水溫度除了設(shè)定上限值(可以安全地向IT設(shè)備提供的最高供水溫度)外，也要設(shè)下限值(可以安全地向IT設(shè)備提供的最低供水溫度)，該極限本質(zhì)上可以是動態(tài)的，并且取決于冷卻空間內(nèi)的露點。CDU負責監(jiān)視環(huán)境露點，并將輔助水回路的供應(yīng)溫度提高到比房間露點溫度高出至少2℃的水平，以防止冷凝現(xiàn)象發(fā)生。
3、無CDU的設(shè)計實施方式
如今，大多數(shù)數(shù)據(jù)中心的液冷設(shè)備都是通過CDU實現(xiàn)液體冷卻的。但無CDU的液冷形式在一些方面也具有一定優(yōu)勢。首先，減少了主機房內(nèi)的空間占用面積；其次，無中間換熱環(huán)節(jié)以及減少了輸配系統(tǒng)的能耗，系統(tǒng)能效更高；最后實現(xiàn)了熱源與最終散熱介質(zhì)的緊密耦合，提高了冷卻液的溫度，同時降低了設(shè)備的工作壓力，也避免了冷凝現(xiàn)象。
圖7為無CDU的液冷系統(tǒng)示意圖，該系統(tǒng)將冷凍水直接輸送到IT設(shè)備內(nèi)。ITE表示信息技術(shù)設(shè)備(通常是服務(wù)器硬件)，RFU表示機架過濾單元，F(xiàn)FU表示設(shè)施過濾單元。
4、無CDU的設(shè)計要點
非CDU液冷服務(wù)器材料的腐蝕和結(jié)垢問題可以通過使用與各種水性成分化學(xué)不相容的材料來解決。ASHRAE在《數(shù)據(jù)通信設(shè)備中心液體冷卻指南》第二版(ASHRAE2014)[4]的第5章中提供了關(guān)于使用的設(shè)備材料的最佳實踐和原理的論述。
在非CDU設(shè)計中，設(shè)施設(shè)計團隊必須與IT設(shè)備制造商緊密合作，以確保為整個液冷系統(tǒng)選擇合適的材料。
非CDU冷卻系統(tǒng)同樣要求在供水上游側(cè)進行過濾?？梢詾闄C架級過濾單元或設(shè)備級過濾單元，旨在為液冷系統(tǒng)的設(shè)備和管道提供終端過濾。如今，電子冷卻中最常用的液體傳熱設(shè)備是微通道冷卻板。這些設(shè)備使液體冷卻劑通過高效的通道來最大程度地利用液體冷卻劑的熱量密度(比熱)。這些液體散熱器上的典型散熱片間距通常不到十分之幾毫米，由于傳熱表面通常尺寸非常狹窄。在冷板設(shè)計中減小翅片間距的尺寸通常會導(dǎo)致優(yōu)異的傳熱性能，但是對于數(shù)據(jù)中心水系統(tǒng)的潔凈度來說也是個挑戰(zhàn)。因此必須在數(shù)據(jù)中心運營商和液冷服務(wù)器廠商之間進行充分溝通。
這些冷板和內(nèi)部管道結(jié)構(gòu)對水質(zhì)更敏感，例如可能會發(fā)生腐蝕，結(jié)垢和微生物。指南ASHRAE 2014第6章比第5章的要求更嚴格。表3所示為水質(zhì)要求的對比。對于非CDU的液冷系統(tǒng)設(shè)計時要參考第6章，而含CDU液冷系統(tǒng)設(shè)計時要參考第5章內(nèi)容。如果將機柜冷卻系統(tǒng)的水質(zhì)要求含CDU的液冷系統(tǒng)，會造成不必要的大量的成本提高。同樣，將設(shè)施水質(zhì)要求應(yīng)用于無CDU液冷系統(tǒng)時，由于水質(zhì)要求低得多，將會帶來巨大風險。在使用時，兩者經(jīng)常被誤用，設(shè)計時應(yīng)該著重區(qū)分開。
五、總結(jié)
液冷相關(guān)技術(shù)的應(yīng)用將是未來數(shù)據(jù)中心能效提升的重要途徑，是數(shù)據(jù)中心重要的發(fā)展趨勢之一。目前，應(yīng)用最多的是冷板式液冷，雖然熱交換效率比風冷式技術(shù)高，但是相比于接觸式液冷技術(shù)(如浸沒式液冷、噴淋式液冷)仍顯不足。而浸沒式液冷技術(shù)應(yīng)用中，液體冷卻劑是最為關(guān)鍵的因素之一。目前，國產(chǎn)氟化冷卻液已經(jīng)能夠?qū)崿F(xiàn)國產(chǎn)替代。通過對合適冷卻液及相關(guān)適配技術(shù)的開發(fā)，解決高性能計算中心的發(fā)展瓶頸是目前數(shù)據(jù)中心研發(fā)的重要課題。
液冷數(shù)據(jù)中心冷卻液的較高溫度使得余熱的高效利用成為可能。傳統(tǒng)數(shù)據(jù)中心對于余熱的利用效率不高，液冷數(shù)據(jù)中心可以提供更高溫度的余熱，充分利用這些余熱實現(xiàn)供暖、提供生活熱水等，有效的減少了供熱設(shè)備的能耗，大大的降低了更多建筑或者整個園區(qū)的碳排放。相信在未來，液冷技術(shù)會和余熱利用充分耦合，實現(xiàn)更廣義的節(jié)能降碳。
參考文獻
[1]韓文鋒.數(shù)據(jù)中心高效綠色冷卻技術(shù).制冷與空調(diào),2021(02):78-90. [2]ASHRAE_TC0909_Liquid_Cooling_White_Paper_Brief_2_April_2019. [3]ASHRAE_TC0909_Water_Cooled_Servers_15_Oct_2019.
[4]LiquidCooling Guidelines Developed by the ASHRAETC9.9 Committee
[5]謝春暉，趙毓毅.液冷技術(shù)在通信行業(yè)中的應(yīng)用及相關(guān)建議.通信電源技術(shù),2019(09):Vol.36,No.S1.
作者簡介
趙春曉，中國建筑標準設(shè)計研究院數(shù)據(jù)中心設(shè)計研發(fā)部門暖通主任設(shè)計師。負責部門暖通專業(yè)相關(guān)技術(shù)工作，完成暖通空調(diào)專業(yè)大小幾十個數(shù)據(jù)中心的規(guī)劃設(shè)計項目。主編參編過多項標準。
