中國儲(chǔ)能網(wǎng)訊：
摘要：數(shù)字技術(shù)的創(chuàng)新演進(jìn)與蓬勃發(fā)展，推動(dòng)算力需求持續(xù)提升，數(shù)據(jù)中心能耗呈指數(shù)型增長。在可持續(xù)發(fā)展、“雙碳”、新型數(shù)據(jù)中心等政策理念指引下，數(shù)據(jù)中心制冷技術(shù)正式邁入液冷階段。首先從芯片、設(shè)備、機(jī)柜散熱訴求，機(jī)房節(jié)能訴求等多個(gè)維度，深入探討液冷技術(shù)的必要性與優(yōu)勢，同時(shí)針對(duì)多種液冷技術(shù)方案從架構(gòu)、原理、關(guān)鍵組成等方面進(jìn)行深入分析。其次，通過散熱能力、節(jié)能效果、維護(hù)性、技術(shù)成熟度等方面的綜合對(duì)比，短中期單相冷板式液冷將更具優(yōu)勢。最后，探討了當(dāng)前數(shù)據(jù)中心液冷在可靠性、散熱強(qiáng)化、低成本等維度的研究趨勢。
關(guān)鍵詞：散熱技術(shù)；機(jī)房節(jié)能；液冷散熱；冷板式液冷；浸沒式液冷
1 應(yīng)用背景
1.1 節(jié)能政策驅(qū)動(dòng)
伴隨著數(shù)字技術(shù)的創(chuàng)新演進(jìn)，云計(jì)算、大數(shù)據(jù)、人工智能（AI）、元宇宙等信息技術(shù)和實(shí)體經(jīng)濟(jì)深度融合，推動(dòng)數(shù)字經(jīng)濟(jì)持續(xù)快速增長。數(shù)據(jù)中心是數(shù)字經(jīng)濟(jì)基礎(chǔ)設(shè)施的底座。數(shù)據(jù)量爆發(fā)式增長帶動(dòng)數(shù)據(jù)中心市場快速增長。數(shù)據(jù)顯示，截至2023年底，中國在用數(shù)據(jù)中心機(jī)架總規(guī)模達(dá)到810萬標(biāo)準(zhǔn)機(jī)架。作為“能耗大戶”，數(shù)據(jù)中心的耗電量不斷刷新紀(jì)錄，數(shù)據(jù)中心的總用電量約占全社會(huì)用電量3%。在可持續(xù)發(fā)展、“碳達(dá)峰、碳中和”、新型數(shù)據(jù)中心等政策理念指引下，國家及地方政府相繼出臺(tái)相關(guān)政策，對(duì)數(shù)據(jù)中心電源使用效率（PUE）提出更高要求。
工業(yè)和信息化部于2021年7月印發(fā)《新型數(shù)據(jù)中心發(fā)展三年行動(dòng)計(jì)劃（2021—2023年）》，明確到2023年底，新建大型及以上數(shù)據(jù)中心PUE降低到1.3以下，東數(shù)西算樞紐節(jié)點(diǎn)及寒冷地區(qū)力爭降低到1.25以下。發(fā)改委2021年11月印發(fā)《貫徹落實(shí)碳達(dá)峰碳中和目標(biāo)要求推動(dòng)數(shù)據(jù)中心和5G等新型基礎(chǔ)設(shè)施綠色高質(zhì)量發(fā)展實(shí)施方案》，進(jìn)一步明確“到2025年，新建大型、超大型數(shù)據(jù)中心PUE降到1.3以下，國家樞紐節(jié)點(diǎn)降至1.25以下”?！皷|數(shù)西算”工程八大樞紐節(jié)點(diǎn)，要求東部地區(qū)PUE目標(biāo)不超過1.25，西部地區(qū)不超過1.2，能效指標(biāo)更加嚴(yán)格。
在典型數(shù)據(jù)中心能耗占比中，制冷系統(tǒng)占比達(dá)到24%以上，是數(shù)據(jù)中心輔助能源中占比最高的部分。因此，降低數(shù)據(jù)中心PUE的關(guān)鍵在于采用更加高效節(jié)能的制冷方案。
近年來，為了降低制冷系統(tǒng)電能消耗，業(yè)內(nèi)對(duì)機(jī)房制冷技術(shù)進(jìn)行了持續(xù)的創(chuàng)新和探索，如間接蒸發(fā)冷卻、冷板式液冷、浸沒式液冷等。其中，間接蒸發(fā)技術(shù)的PUE可達(dá)1.25，液冷技術(shù)則利用液體的高導(dǎo)熱、高傳熱特性，在進(jìn)一步縮短傳熱路徑的同時(shí)充分利用自然冷源，可以實(shí)現(xiàn)數(shù)據(jù)中心PUE低至1.1的極佳節(jié)能效果。得益于綠色節(jié)能優(yōu)勢，近年來液冷技術(shù)也成為國家及地方政策明確鼓勵(lì)采用的重要節(jié)能技術(shù)，如表1所示。
表1 液冷數(shù)據(jù)中心政策
1.2 高散熱訴求
算力的持續(xù)增加促進(jìn)通信設(shè)備性能不斷提升，市場主流芯片功耗和熱流密度也在持續(xù)攀升，CPU散熱設(shè)計(jì)功耗已達(dá)350~500W。AI技術(shù)快速發(fā)展推動(dòng)GPU需求增長，GPU散熱設(shè)計(jì)功耗已超過800W。芯片功率密度的持續(xù)提升直接制約著芯片散熱和可靠性。
芯片功率密度的攀升同時(shí)帶來整柜功率密度持續(xù)增長。8kW以上單機(jī)柜功率密度成為目前新建數(shù)據(jù)中心的主流選擇。但為提升市場競爭力，人們也在通過升級(jí)改造的方式來提高單柜功率密度，目前通算最大功率密度已超過30kW/柜，如圖1所示。智算功率上升更快，已達(dá)100kW/柜。整機(jī)柜功率密度的提升對(duì)機(jī)房制冷技術(shù)提出了更高的要求。傳統(tǒng)風(fēng)冷系統(tǒng)受數(shù)據(jù)中心建筑面積與單位運(yùn)營成本等因素的影響散熱上限一般為20kW/柜，越來越難以為繼。液冷技術(shù)采用液體替代空氣作為冷卻介質(zhì)，將液體直接或間接接觸發(fā)熱器件，可使散熱效率大幅提升，能夠有效滿足單點(diǎn)、整機(jī)柜、機(jī)房的高散熱需求。
圖1 機(jī)柜功率密度與制冷方式
2 液冷技術(shù)分類
根據(jù)熱器件是否與冷卻液接觸，液冷技術(shù)可以分為直接接觸式和間接接觸式兩種：直接接觸式是指將冷卻液體與發(fā)熱器件直接接觸散熱，這類液體包括單相浸沒式液冷、兩相浸沒式液冷、噴淋式液冷；間接接觸式是指冷卻液體不與發(fā)熱器件直接接觸，通過散熱器間接散熱，這類液體包括單相冷板式液冷、兩相冷板式液冷。
液冷系統(tǒng)通用架構(gòu)如圖2所示。其中，室外側(cè)包含室外冷源、一次側(cè)冷卻液，室內(nèi)側(cè)包含冷量分配單元（CDU）、二次側(cè)冷卻液以及液冷機(jī)柜。該液冷系統(tǒng)的基本原理是：二次側(cè)冷卻液在機(jī)柜內(nèi)吸收設(shè)備熱量，并通過 CDU內(nèi)的換熱器將熱量傳遞給一次側(cè)冷卻液，一次側(cè)冷卻液通過室外冷源最終將熱量釋放到大氣環(huán)境中，完成散熱。
圖2 液冷系統(tǒng)通用架構(gòu)圖
1）室外冷源：可選擇開式/閉式冷卻塔、干式冷卻器等，冷源的選擇應(yīng)根據(jù)所在地的場地、氣象、水電等因素綜合考慮。
2）一次側(cè)冷卻液：常用的液冷液有去離子水、乙二醇水溶液、丙二醇水溶液等，并配合具有一定緩蝕、殺菌、阻垢功能的化學(xué)藥劑使用。冷卻液的選擇需要根據(jù)液體熱物性、部署地理位置及氣候條件等綜合考慮。
3）CDU：按布置形式可分為集中式與分布式。其中，集中式CDU布置在機(jī)柜外，為多臺(tái)液冷機(jī)柜提供冷量，易于集中化部署和管理；分布式 CDU布置在液冷機(jī)柜內(nèi)部，每臺(tái)機(jī)柜對(duì)應(yīng)一個(gè)CDU，易于機(jī)柜功耗匹配。
二次側(cè)冷卻液、液冷機(jī)柜及內(nèi)部液冷設(shè)備在不同液冷技術(shù)形態(tài)中略有差異，在后續(xù)章節(jié)中我們會(huì)具體介紹。
2.1 單相冷板式液冷
單相冷板式液冷通過液冷板將發(fā)熱器件的熱量間接傳遞給液冷板中的二次側(cè)冷卻液。二次冷卻液在設(shè)備吸熱和CDU放熱過程不發(fā)生相變。根據(jù)液冷板覆蓋范圍，這種液冷可以分為局部液冷或全液冷：局部液冷通常僅覆蓋高功耗器件，一般帶走設(shè)備70%左右的熱量，剩余30%熱量仍需通過機(jī)房空調(diào)或液冷背門以風(fēng)冷的形式帶走；全液冷需要根據(jù)通信設(shè)備硬件架構(gòu)和結(jié)構(gòu)布局定制化設(shè)計(jì)液冷板，以覆蓋所有發(fā)熱器件。單相冷板式液冷系統(tǒng)架構(gòu)如圖3所示，液冷機(jī)柜內(nèi)包含分液器、液冷板、流體連接器、液冷管路、漏液檢測傳感器等。
圖3 單相冷板式液冷系統(tǒng)架構(gòu)
1）二次側(cè)冷卻液：二次側(cè)熱量載體以去離子水、乙二醇水溶液、丙二醇水溶液為主，根據(jù)具體場景進(jìn)行選擇。二次側(cè)冷卻液需要定期檢測PH、濁度、殘留物、細(xì)菌等參數(shù)，并符合相關(guān)標(biāo)準(zhǔn)要求；
2）單相冷板CDU：可分為集中式和分布式。其中，集中式CDU布置在機(jī)柜外，每列機(jī)柜布置一臺(tái)或幾臺(tái)CDU，實(shí)現(xiàn)主用和備份關(guān)系，需要部署二次側(cè)管網(wǎng)，并考慮各液冷機(jī)柜間的流量分配；分布式CDU安裝在液冷機(jī)柜內(nèi)，免二次側(cè)管路部署，可根據(jù)機(jī)柜功耗靈活部署。
3）分液器：用于機(jī)柜內(nèi)流量分配與收集，將低溫二次側(cè)冷卻液分配到各設(shè)備節(jié)點(diǎn)，并收集與液冷板換熱升溫后的冷卻液。其設(shè)計(jì)選型過程中需要保證流量分配需要的均勻性，并結(jié)合機(jī)柜空間、重量等要求綜合考慮分液器的體積。
4）液冷板：液冷板設(shè)計(jì)需要根據(jù)設(shè)備芯片功耗進(jìn)行芯片冷板設(shè)計(jì)、根據(jù)芯片布局及單板結(jié)構(gòu)空間設(shè)計(jì)冷板連接管路路由，具有一定的定制化特性。但在進(jìn)行設(shè)計(jì)時(shí)應(yīng)盡量保證內(nèi)部零件的通用性，如內(nèi)部翅片規(guī)格、進(jìn)出口規(guī)格應(yīng)盡可能一致，以降低成本。此外，液冷板的設(shè)計(jì)還需要綜合考慮實(shí)際功耗、工作壓力、流速等。
5）流體連接器：可實(shí)現(xiàn)無泄漏通斷，在設(shè)計(jì)選型時(shí)需要綜合考慮工作流量、溫度、壓力、流阻特性、安裝方式、直插/盲插、接口規(guī)格等。
6）液冷管路：二次側(cè)冷卻液流通通路，參與液冷機(jī)柜內(nèi)各設(shè)備節(jié)點(diǎn)的流量-流阻分配；液冷管路設(shè)計(jì)選型需要考慮材料兼容性、流速、管路布置、安裝方式、流量分配設(shè)計(jì)等。
7）漏液檢測傳感器：針對(duì)沿液冷板、液冷管路、分液器等可能出現(xiàn)液體泄漏的位置或路徑布置，及時(shí)檢測泄漏狀態(tài)，并觸發(fā)漏液告警策略，及時(shí)告知運(yùn)維人員發(fā)現(xiàn)漏液事故，便于及時(shí)處理，有效地保護(hù)液冷系統(tǒng)與機(jī)房安全。漏液檢測傳感器可分為檢測線、檢測帶、光電式、電極式、浮子式等，適用于不同的泄漏位置和泄漏場景。
單相冷板式液冷技術(shù)對(duì)通信設(shè)備和機(jī)房基礎(chǔ)設(shè)施改動(dòng)較小，業(yè)內(nèi)已具備多年研究積累，目前技術(shù)成熟度最高，它已成為滿足芯片高熱流密度散熱需求、提升數(shù)據(jù)中心能效、降低總體擁有成本（TCO）的有效方案。
2.2 兩相冷板式液冷
兩相冷板液冷系統(tǒng)架構(gòu)與單相液冷板液冷相似，其系統(tǒng)架構(gòu)如圖4所示。所不同的是二次側(cè)冷卻液在設(shè)備內(nèi)通過液冷板吸熱發(fā)生汽化，在CDU內(nèi)冷凝為液態(tài)，充分利用了冷卻液的相變潛熱，綜合散熱能力更強(qiáng)，可達(dá)300W/cm2以上。由于運(yùn)行過程中系統(tǒng)內(nèi)冷卻液發(fā)生相變，兩相冷板液冷系統(tǒng)的壓力會(huì)高于單相冷板液冷，其二次側(cè)冷卻液、液冷板、流體連接器、液冷管路等為了適配系統(tǒng)壓力也要滿足一定的特殊化要求。
圖4 兩相冷板式液冷系統(tǒng)架構(gòu)
1）二次側(cè)冷卻液：以制冷劑、氟化液等低沸點(diǎn)工質(zhì)為主，在選型時(shí)主要考慮熱物性、環(huán)保性、安全性、工作溫區(qū)和壓力、材料兼容性等因素。
2）兩相冷板CDU：兩相冷板液冷系統(tǒng)壓力等級(jí)通常較高，其壓力控制系統(tǒng)區(qū)別于單相系統(tǒng)，一般采用溫控型壓力控制方案。同時(shí)，兩相CDU補(bǔ)液系統(tǒng)在設(shè)計(jì)時(shí)也需要考慮工質(zhì)充注量對(duì)于系統(tǒng)壓力的影響。
3）兩相液冷板：其結(jié)構(gòu)與單相液冷板相似，在設(shè)計(jì)時(shí)需要重點(diǎn)考慮冷板承壓能力，增加汽化核心、促進(jìn)氣泡脫離以提升散熱性能，常見的方案有表面微處理、多孔介質(zhì)填充等。
4）兩相流體連接器：高壓系統(tǒng)對(duì)流體連接器的插拔操作和帶壓維護(hù)都提出了很高的要求。目前螺紋旋擰連接器能夠較好地滿足需求。
5）液冷管路：考慮系統(tǒng)壓力及氣相工質(zhì)泄漏風(fēng)險(xiǎn)，優(yōu)選金屬軟管或汽車空調(diào)橡膠管。
兩相冷板式液冷核心技術(shù)的優(yōu)勢在于能夠滿足超高熱流密度散熱需求，但現(xiàn)階段技術(shù)成熟度仍較低，相關(guān)產(chǎn)業(yè)鏈還有待完善。
2.3 單相浸沒式液冷
單相浸沒式液冷通過將發(fā)熱元件浸沒在冷卻液中，直接吸收設(shè)備產(chǎn)生的熱量。臥式浸沒液冷系統(tǒng)架構(gòu)如圖5所示，通信設(shè)備豎插在浸沒機(jī)柜內(nèi)，二次側(cè)低溫冷卻液由浸沒機(jī)柜底部流入。二次側(cè)冷卻液在循環(huán)散熱過程中始終維持液相。
圖5 單相浸沒式液冷系統(tǒng)架構(gòu)（臥式）
1）二次側(cè)冷卻液：單相浸沒技術(shù)通常使用高沸點(diǎn)的冷卻液。這類冷卻液不發(fā)生相變，同時(shí)需要具有高絕緣、低黏度以及良好的兼容特性，例如氟碳化合物和碳?xì)浠衔铮ǖV物油、合成油等）。
2）浸沒機(jī)柜：現(xiàn)階段應(yīng)用較多的為臥式機(jī)柜（通常稱為TANK），業(yè)內(nèi)常用的尺寸規(guī)格覆蓋12U~54U。為了實(shí)現(xiàn)臥式架構(gòu)下的流量均衡性，TANK底部需配置均流板。冷卻液由底部進(jìn)入，經(jīng)均流板分液后流入設(shè)備。為便于通信設(shè)備的安裝和維護(hù)，TANK設(shè)計(jì)需要有一定的槽位導(dǎo)向和固定功能。同時(shí)，TANK上蓋與腔體之間需要具備良好的密封性，防止運(yùn)行過程中冷卻液耗散。
3）單相浸沒CDU：單相浸沒液冷系統(tǒng)在維護(hù)過程中需要打開TANK上蓋，系統(tǒng)直接與機(jī)房環(huán)境連通，屬于一種“半開式”系統(tǒng)，因此其CDU設(shè)計(jì)對(duì)循環(huán)泵、系統(tǒng)過濾、冷卻液監(jiān)控等要求更高。
單相浸沒液冷實(shí)現(xiàn)了100%液體冷卻，無須配置風(fēng)扇，使機(jī)房極致節(jié)能、靜音。但其應(yīng)用過程需要將通信設(shè)備完全浸沒在冷卻液中，所有材料、器件均需要重新選型評(píng)估，并開展兼容性測試驗(yàn)證以保證應(yīng)用的可靠性。同時(shí)，由于不導(dǎo)電液體熱物性普遍較差且液體流速低，因此單相浸沒液冷散熱能力普遍較低，這在一定程度上制約了其推廣應(yīng)用。
根據(jù)浸沒機(jī)柜形態(tài)，單相浸沒式液冷可以進(jìn)一步細(xì)分為臥式浸沒和立式浸沒。傳統(tǒng)臥式浸沒液冷設(shè)備維護(hù)時(shí)需要打開TANK上蓋，并配備可移動(dòng)機(jī)械吊臂或?qū)I(yè)維護(hù)車以實(shí)現(xiàn)設(shè)備的豎直插拔，維護(hù)復(fù)雜度高、耗時(shí)長，且開蓋維護(hù)過程有一定的冷卻液揮發(fā)問題，增加了運(yùn)行成本。為了解決這一問題，業(yè)內(nèi)將浸沒機(jī)柜形態(tài)調(diào)整為立式架構(gòu)，即單相立式浸沒液冷，如圖6所示。立式浸沒機(jī)柜架構(gòu)與冷板式相似，但通信設(shè)備本身需要實(shí)現(xiàn)板級(jí)密封功能，兼具冷板式液冷的維護(hù)便利性和浸沒式液冷的節(jié)能優(yōu)勢。
圖6 單相浸沒式液冷系統(tǒng)架構(gòu)（立式）
2.4 兩相浸沒式液冷
兩相浸沒液冷二次側(cè)冷卻液在設(shè)備內(nèi)吸熱由液態(tài)轉(zhuǎn)化為氣態(tài)，通過冷凝器冷凝放熱由氣態(tài)轉(zhuǎn)化為液態(tài)。這種液冷技術(shù)充分利用液體的相變潛熱，散熱能力相比于單相浸沒顯著提升。需要指出的是，兩相浸沒液冷同樣存在臥式和立式兩種技術(shù)形態(tài)。
兩相臥式浸沒二次側(cè)冷卻液僅在浸沒腔體內(nèi)部循環(huán)。浸沒腔體的頂部為氣態(tài)區(qū)，底部為液態(tài)區(qū)。冷卻液吸收設(shè)備熱量后發(fā)生相變，即液態(tài)冷卻液變?yōu)闅鈶B(tài)冷卻液。氣態(tài)冷卻液匯聚到浸沒腔體頂部，與安裝在頂部的冷凝器發(fā)生換熱后冷凝為低溫液態(tài)冷卻液，隨后在重力作用下回流至腔體底部，實(shí)現(xiàn)對(duì)通信設(shè)備的散熱，如圖7所示。
圖7 兩相浸沒式液冷系統(tǒng)架構(gòu)（臥式）
兩相立式浸沒將每個(gè)設(shè)備節(jié)點(diǎn)作為一個(gè)獨(dú)立的小型浸沒腔體，可有效避免相變冷卻液的運(yùn)維耗散問題，且架構(gòu)兼容性更優(yōu)、維護(hù)操作更便捷。因此，現(xiàn)階段兩相浸沒以立式架構(gòu)為主要研究方向。兩相浸沒立式系統(tǒng)架構(gòu)如圖8所示，它包含二次側(cè)冷卻液、密封殼體、兩相沸騰散熱器等關(guān)鍵部件。
圖8 兩相浸沒式液冷系統(tǒng)架構(gòu)（立式）
1）二次側(cè)冷卻液：考慮密封殼體的承壓設(shè)計(jì)，目前主要選用低沸點(diǎn)氟碳類工質(zhì)。二次側(cè)冷卻液需要根據(jù)具體場景進(jìn)行選擇，并主要考慮熱性能、環(huán)保安全性能、工作溫區(qū)和壓力、材料兼容性等因素。
2）密封殼體：通信設(shè)備節(jié)點(diǎn)全密封設(shè)計(jì)，節(jié)點(diǎn)內(nèi)部充滿冷卻液。工作時(shí)殼體上部為氣體，下部為液體，通過流體連接器與CDU形成氣液循環(huán)。密封殼體的關(guān)鍵點(diǎn)在于設(shè)備電、網(wǎng)、液接口處的密封設(shè)計(jì)。
3）兩相沸騰散熱器：通過界面材料與芯片接觸，將芯片產(chǎn)生的熱量通過冷卻液的相變帶走。這類散熱器一般采用多孔介質(zhì)設(shè)計(jì)方案，以增加汽化核心和散熱面積。
兩相浸沒液冷兼具高節(jié)能、高散熱的技術(shù)優(yōu)勢，可同時(shí)滿足高功率芯片的散熱需求，實(shí)現(xiàn)機(jī)房極致節(jié)能效果。但現(xiàn)階段該技術(shù)仍在試點(diǎn)研究中，其密封可靠性、系統(tǒng)控制穩(wěn)定性等有待持續(xù)優(yōu)化。
2.5 噴淋式液冷
噴淋式液冷屬于直接接觸式液冷。二次側(cè)冷卻液由頂部進(jìn)入服務(wù)器，在重力或系統(tǒng)壓力的作用下，通過噴淋板精準(zhǔn)噴淋發(fā)熱器件，冷卻液直接與發(fā)熱器件接觸，通過對(duì)流換熱為器件散熱，如圖9所示。為了實(shí)現(xiàn)精準(zhǔn)噴淋與有效散熱，液冷機(jī)柜及設(shè)備需要一定的特殊化設(shè)計(jì)。
圖9 噴淋式液冷系統(tǒng)架構(gòu)
1）二次側(cè)冷卻液：通常為不導(dǎo)電液體，可以是油基或氟碳類，換熱過程不發(fā)生相變。
2）液冷設(shè)備：上蓋集成噴淋腔體和噴淋孔，可根據(jù)器件功耗、布局、尺寸設(shè)置不同的噴淋孔大小、位置、密集程度等。
3）液冷機(jī)柜：設(shè)備內(nèi)噴淋會(huì)有一定的冷卻液飄逸，為了避免冷卻液損耗，以及機(jī)房環(huán)境污染，液冷機(jī)柜需要具備一定的密封性。
4）儲(chǔ)液箱：一般放置于噴淋機(jī)柜的底部，利用重力收集吸熱溫升后的冷卻液，當(dāng)系統(tǒng)出現(xiàn)異常情況時(shí)（如發(fā)生泄漏），也可收集泄漏液體，增加系統(tǒng)運(yùn)行的穩(wěn)定性和可靠性。
噴淋式液冷實(shí)現(xiàn)了100%液冷，使PUE優(yōu)于單相冷板液冷。同時(shí)，通過噴淋結(jié)構(gòu)，這種液冷技術(shù)可實(shí)現(xiàn)對(duì)高功率芯片的精準(zhǔn)噴淋，使流經(jīng)芯片的液體流速有一定的提升，其散熱能力略高于傳統(tǒng)單相浸沒液冷。因此，噴淋液冷可以看作是實(shí)現(xiàn)冷板式液冷節(jié)能、單相浸沒液冷散熱的折中方案。
2.6 液冷技術(shù)綜合對(duì)比
算力攀升驅(qū)動(dòng)數(shù)據(jù)中心液冷市場需求保持逐年增長的態(tài)勢。業(yè)內(nèi)多條液冷技術(shù)路線快速發(fā)展，針對(duì)不同應(yīng)用場景各具優(yōu)勢，如表2所示。其中，單相冷板式液冷在液冷數(shù)據(jù)中心的應(yīng)用占比達(dá)90%以上，是現(xiàn)階段及未來一段時(shí)間業(yè)內(nèi)主流的液冷技術(shù)方案。單相浸沒式液冷節(jié)能優(yōu)勢更突出，且近年來該技術(shù)逐步趨于成熟，相關(guān)產(chǎn)業(yè)鏈快速發(fā)展完善，小規(guī)模商用不斷推進(jìn)。此外，噴淋式、兩相冷板式、兩相浸沒式這3種液冷方案的技術(shù)研究和產(chǎn)業(yè)生態(tài)尚需完善。
表2 不同液冷技術(shù)方案對(duì)比
3 液冷技術(shù)展望
數(shù)據(jù)中心液冷正處于快速發(fā)展階段。隨著液冷技術(shù)的規(guī)?；瘧?yīng)用，各類問題也逐漸暴露出來。例如：冷板式液冷水基工質(zhì)泄漏導(dǎo)致設(shè)備短路燒毀；單相浸沒式液冷散熱能力受液體流速約束，散熱能力表現(xiàn)較弱，無法滿足更高功耗CPU/GPU的散熱需求；液冷系統(tǒng)制冷量未隨負(fù)載變化及時(shí)調(diào)控，導(dǎo)致節(jié)能收益不明顯；現(xiàn)階段液冷數(shù)據(jù)中心的建設(shè)成本高等。這些均在一定程度上制約了液冷技術(shù)在數(shù)據(jù)中心領(lǐng)域的應(yīng)用。為了解決這些問題，業(yè)內(nèi)一直在持續(xù)探索研究，以提升數(shù)據(jù)中心液冷技術(shù)在安全可靠、散熱能力、建設(shè)成本等方面的優(yōu)勢。
3.1 非水冷板式液冷
單相冷板式液冷一般采用水基工質(zhì)作為二次側(cè)冷卻液，但水基工質(zhì)存在腐蝕、泄漏導(dǎo)電等應(yīng)用可靠性風(fēng)險(xiǎn)。除了基礎(chǔ)的機(jī)械結(jié)構(gòu)防泄漏外，中興通訊創(chuàng)新性地提出非水冷板式液冷技術(shù)，將二次側(cè)冷卻液由水基工質(zhì)更換為氟碳類或油基不導(dǎo)電液體，從冷卻液本身解決泄漏導(dǎo)電問題。非水冷板式液冷架構(gòu)與單相冷板式液冷相同。
非水冷板式液冷方案配合機(jī)械防泄漏結(jié)構(gòu)設(shè)計(jì)，能夠?qū)崿F(xiàn)對(duì)液冷系統(tǒng)的多維度泄漏防護(hù)，真正做到泄漏有效防護(hù)、不損傷設(shè)備，且保留了冷板式液冷的高散熱優(yōu)勢，能夠滿足現(xiàn)階段各類通信設(shè)備的散熱需求。同時(shí)，由于氟碳類、油基工質(zhì)均屬于大分子化合物，很難被微生物所分解，因此，非水系統(tǒng)中微生物腐蝕導(dǎo)致的風(fēng)險(xiǎn)會(huì)大大降低。
非水冷板式液冷因工質(zhì)更換，其系統(tǒng)方案在設(shè)計(jì)過程也需要有一定的調(diào)整：
1）液體潤濕面材料與不同工質(zhì)的兼容性存在差異，更換工質(zhì)后需要重新開展材料與工質(zhì)間的兼容性測試驗(yàn)證，以保證長期應(yīng)用可靠性。
2）CDU：需要對(duì)補(bǔ)液裝置改進(jìn)，避免補(bǔ)液過程空氣中的水分或雜質(zhì)進(jìn)入液冷系統(tǒng)中，引起非水工質(zhì)的水解產(chǎn)生酸性物質(zhì)，導(dǎo)致腐蝕風(fēng)險(xiǎn)問題。
3）漏液檢測：二次側(cè)冷卻液為不導(dǎo)電液體，因此傳統(tǒng)導(dǎo)電型漏液檢測傳感器不再適用，需要更換為光電式、電容式、浮子式漏液檢測方式。針對(duì)氟碳類工質(zhì)，因其揮發(fā)性較強(qiáng)，泄漏后有一定的氣態(tài)工質(zhì)產(chǎn)生，可以采用吸氣式漏氟檢測儀器。
3.2 全液冷冷板
傳統(tǒng)冷板式液冷通常只覆蓋CPU、GPU等個(gè)別高功耗芯片，設(shè)備節(jié)點(diǎn)或整機(jī)柜液冷占比通常在60%~80%之間，存在液冷占比低、節(jié)能收益不顯著的問題。為此，業(yè)內(nèi)已經(jīng)開始布局全液冷冷板技術(shù)，即通過液冷板為設(shè)備內(nèi)的所有發(fā)熱器件進(jìn)行散熱。
以通算服務(wù)器產(chǎn)品為例，液冷板覆蓋CPU、內(nèi)存、硬盤、電源等，95%以上的熱量通過液冷板帶走，剩余約5%的熱量通過設(shè)備節(jié)點(diǎn)內(nèi)風(fēng)液換熱器中的冷卻液帶走，進(jìn)而實(shí)現(xiàn)100%液冷。與傳統(tǒng)的單相冷板式液冷相比，全液冷冷板技術(shù)具有更低的系統(tǒng)能耗，PUE可低至1.1，能夠有效降低數(shù)據(jù)中心的運(yùn)營成本。
全液冷冷板雖然可以大幅提升液冷占比，提升節(jié)能效果，但涉及液冷部件較多，液冷系統(tǒng)相對(duì)復(fù)雜，需要專業(yè)的維護(hù)人員進(jìn)行操作和維修，同時(shí)內(nèi)存、硬盤等可插拔部件的應(yīng)用可靠性仍有待提升。從長期收益來看，全液冷冷板技術(shù)得益于其高效的散熱性能及更低的能耗，在數(shù)據(jù)中心領(lǐng)域會(huì)有更廣泛的應(yīng)用。
3.3 單相浸沒強(qiáng)化散熱
單相浸沒液冷液體流速低，使系統(tǒng)解熱能力受限。在當(dāng)下智算如火如荼大力發(fā)展的過程中，高功耗、高熱流密度的CPU/GPU散熱需求，驅(qū)動(dòng)人們不斷探索散熱強(qiáng)化的創(chuàng)新路線，如引入主動(dòng)驅(qū)動(dòng)力，調(diào)整系統(tǒng)架構(gòu)，改善冷卻液熱物性等，以滿足高功耗、高熱流密度芯片的散熱需求。
單相浸沒液冷通過引入外部驅(qū)動(dòng)部件，如封閉風(fēng)機(jī)、微泵等，可以顯著提升芯片局部區(qū)域的冷卻液流速和湍流程度，實(shí)現(xiàn)較高的換熱效率。例如，Submer和英特爾共同開發(fā)了一款強(qiáng)制對(duì)流散熱器，其通過在翅片散熱器前方加裝風(fēng)機(jī)，搭配限流器外殼，使在散熱器鰭片區(qū)域的冷卻液產(chǎn)生強(qiáng)制對(duì)流，提高了冷卻液的換熱效率，從而改善散熱器的熱性能。
除了模塊化設(shè)計(jì)的強(qiáng)制對(duì)流散熱器方案，系統(tǒng)架構(gòu)調(diào)整的散熱模式也是浸沒液冷發(fā)展方向之一。例如，中興通訊與英特爾合作開發(fā)的浸沒液冷架構(gòu)強(qiáng)化方案，采用雙回路設(shè)計(jì)，高功耗器件CPU/GPU等支持重力驅(qū)動(dòng)強(qiáng)化散熱方式，支持單節(jié)點(diǎn)散熱能力2000W+，CPU散熱能力大于550W。
冷卻液方面，目前單相浸沒冷卻液以碳氟類和油基工質(zhì)為主，相比于水溶性液冷，雖然可以有效地解決絕緣性問題，但是仍存在粘度大、比熱容低、導(dǎo)熱能力差的缺點(diǎn)。為了提升介電液體的散熱能力，納米流體成為當(dāng)下研究方向之一。納米流體借助納米顆粒的高導(dǎo)熱系數(shù)和液體與顆粒之間的對(duì)流，可以顯著提高導(dǎo)熱系數(shù)和對(duì)流傳熱系數(shù)。雖然采用納米流體可以有效提升換熱性能，但是其穩(wěn)定性差、制備難度大、生產(chǎn)成本高是實(shí)際應(yīng)用中存在的主要問題，現(xiàn)階段仍需要持續(xù)優(yōu)化。
3.4 液冷智能溫控技術(shù)
液冷系統(tǒng)的極致節(jié)能離不開管理層的優(yōu)化調(diào)控。與風(fēng)冷系統(tǒng)相比，液冷系統(tǒng)耦合性更強(qiáng)，系統(tǒng)控制點(diǎn)位更多、更復(fù)雜。傳統(tǒng)的液冷系統(tǒng)調(diào)控邏輯或群控模式無法匹配業(yè)務(wù)和負(fù)載率變化進(jìn)行主動(dòng)調(diào)控，在一定程度上存在冷量浪費(fèi)的問題?，F(xiàn)階段的AI調(diào)優(yōu)測試主要基于數(shù)據(jù)模型，通過對(duì)歷史數(shù)據(jù)的深度學(xué)習(xí)、強(qiáng)化學(xué)習(xí)等，僅利用有限場景下的純數(shù)據(jù)樣本，數(shù)據(jù)成本高，歷史數(shù)據(jù)依賴性強(qiáng)，訓(xùn)練周期長，且不具有可解釋性，容易反邏輯控制，在極端工況下可靠性低。
為了提高液冷系統(tǒng)溫控策略的節(jié)能效果及運(yùn)行穩(wěn)定性，人們提出了“數(shù)據(jù)+機(jī)理”的雙驅(qū)AI技術(shù)。該技術(shù)將AI與傳統(tǒng)暖通熱力學(xué)模型相結(jié)合，構(gòu)建機(jī)理和數(shù)據(jù)融合驅(qū)動(dòng)的系統(tǒng)熱力學(xué)模型，并針對(duì)機(jī)理模型中難以建立“白箱”模型的部分，可以利用采集數(shù)據(jù)構(gòu)建數(shù)據(jù)模型來解決，也可以利用數(shù)據(jù)驅(qū)動(dòng)方法對(duì)機(jī)理模型中的參數(shù)進(jìn)行優(yōu)化。雙驅(qū)AI控制策略遵循熱學(xué)原理，脫離純數(shù)據(jù)依賴，避免反邏輯，具有更高可靠性、更優(yōu)節(jié)能效果，能夠通過對(duì)兩種預(yù)測模型取長補(bǔ)短，最大程度提高預(yù)測的準(zhǔn)確性，使計(jì)算復(fù)雜度及成本顯著降低。
在具體應(yīng)用中，需要將盡可能地將影響液冷系統(tǒng)節(jié)能與運(yùn)行穩(wěn)定性的因素納入數(shù)據(jù)中心基礎(chǔ)設(shè)施管理（DCIM）監(jiān)管和調(diào)控中，通過雙驅(qū)模型對(duì)數(shù)據(jù)中心建立多輸入和輸出間的擬合關(guān)系，使各工況點(diǎn)均具有可預(yù)測性。融合機(jī)理模型和數(shù)據(jù)模型的雙驅(qū)動(dòng)仿真系統(tǒng)，借助可視化平臺(tái)開發(fā)，可建立數(shù)據(jù)中心系統(tǒng)的數(shù)字孿生預(yù)測模型。液冷系統(tǒng)基于該模型不僅能實(shí)現(xiàn)極佳的節(jié)能溫控策略，還能針對(duì)極端場景提前制定可能的風(fēng)險(xiǎn)場景應(yīng)對(duì)策略，提升運(yùn)維人員的響應(yīng)效率和數(shù)據(jù)中心的運(yùn)行可靠性。
3.5 低成本液冷系統(tǒng)
與傳統(tǒng)風(fēng)冷系統(tǒng)相比，液冷技術(shù)應(yīng)用存在初期投資成本高的問題，這影響了液冷技術(shù)的規(guī)模應(yīng)用與推廣。此外，液冷物料本身也需要進(jìn)一步研究。原材料和加工成本較高，需要引入新材料或新工藝以進(jìn)一步降低成本。基于此，中興通訊開發(fā)了低成本液冷系統(tǒng)，通過引入高可靠、低成本材料，改善工藝條件，使液冷數(shù)據(jù)中心投資成本綜合降本15%以上。引入的材料包含鋁合金冷板、高分子材料等。其中，高分子材料包括高分子工程管網(wǎng)、高分子分液器、高分子流體連接器等。
1）鋁合金冷板：液冷板散熱底板由銅材更換為鋁材。冷板上蓋板等非散熱接觸面材料采用高分子材料，并通過注塑成型，降低了成本。同時(shí)，液冷板取消焊接密封工藝，采用膠圈密封的方式，節(jié)省了焊接費(fèi)用。
2）高分子材料應(yīng)用：工程管網(wǎng)、分液器等由不銹鋼材料更換為高分子材料，且一體式注塑成型，工藝成本低，且所選材料經(jīng)過兼容性測試驗(yàn)證，應(yīng)用可靠性高。
3.6 芯片級(jí)液冷
芯片制程工藝向更小尺寸發(fā)展，芯片功耗和熱流密度不斷攀升，加之2.5D/3D封裝和異構(gòu)芯片的快速發(fā)展，使得芯片內(nèi)熱阻占比越來越大。當(dāng)前芯片散熱主要考慮導(dǎo)熱界面材料（TIM）和外部系統(tǒng)散熱技術(shù)兩個(gè)方面，但仍無法解決芯片內(nèi)熱阻大的問題。未來隨著各種新型封裝形式的演進(jìn)，外部液冷散熱方案將難以滿足超高功率密度芯片的散熱需求。液冷散熱方案將深入到芯片內(nèi)部，從熱源根本上解決散熱問題。這種散熱技術(shù)稱為芯片級(jí)液冷技術(shù)。
芯片級(jí)液冷沿用冷板式液冷架構(gòu)，所不同的是其將微尺度流道（微米級(jí)通道寬度）刻蝕在芯片內(nèi)部，液體工質(zhì)直接從芯片內(nèi)部帶走熱量，大大降低芯片內(nèi)熱阻或者界面熱阻，同時(shí)可解決多Die堆疊引起的散熱問題，使散熱能力得到極大提升，并可滿足超高散熱需求。從1981年開始，國內(nèi)外陸續(xù)有一些高校、科研機(jī)構(gòu)和芯片廠商已經(jīng)布局芯片級(jí)液冷散熱技術(shù)研究，包括對(duì)微尺度液冷基礎(chǔ)原理的研究、微尺度（硅基）流道加工工藝的探索改進(jìn)、先進(jìn)微尺度流道設(shè)計(jì)方案的研究等。按芯片與液冷微通道的耦合形態(tài)，芯片級(jí)液冷又可分為分體式（含TIM）和一體式（無TIM）兩種，預(yù)計(jì)均可滿足300W/cm2以上的散熱需求。但由于相關(guān)技術(shù)成熟度還較低，目前業(yè)內(nèi)還暫無應(yīng)用案例。
4 結(jié)束語
在“數(shù)字經(jīng)濟(jì)”和“雙碳”的大背景下，不斷提升的芯片熱流密度和更嚴(yán)苛的設(shè)備能耗設(shè)計(jì)要求，成為數(shù)據(jù)中心制冷技術(shù)不斷演進(jìn)的兩大重要驅(qū)動(dòng)力。液冷技術(shù)具有低能耗、高散熱、低噪聲、低TCO等優(yōu)勢，是解決芯片散熱問題、打造綠色低碳數(shù)據(jù)中心的關(guān)鍵技術(shù)。
