中國(guó)儲(chǔ)能網(wǎng)訊：AI風(fēng)暴席卷全球時(shí)，“能源陰影”始終如影隨形。
“真正的電力短缺局面即將到來(lái)?！卑雽?dǎo)體分析機(jī)構(gòu)SemiAnalysis在一份報(bào)告中指出，全球數(shù)據(jù)中心關(guān)鍵IT電力需求將在2026年激增至96吉瓦（1吉瓦=100萬(wàn)kW），其中人工智能將消耗約40吉瓦。
這樣的增速對(duì)于全球而言均是巨大挑戰(zhàn)。數(shù)據(jù)顯示，全球數(shù)字技術(shù)耗電量從2018年占比不到2%提升至2023年的10%，預(yù)計(jì)到2030年占比將達(dá)到20%。
比特和瓦特能否和諧共存，是影響算力能否高速狂奔的關(guān)鍵因素，液冷技術(shù)的出現(xiàn)，帶來(lái)了解開(kāi)難題的“鑰匙”。但與此同時(shí)，液冷數(shù)據(jù)中心建設(shè)者和運(yùn)營(yíng)者必須先解決高算力、低PUE和低TCO的“不可能三角”關(guān)系。
“我們做過(guò)內(nèi)部測(cè)算，當(dāng)單個(gè)機(jī)架功率密度超過(guò)10kW之后，采用冷板液冷架構(gòu)的單kW制冷成本將低于傳統(tǒng)的風(fēng)冷架構(gòu)?！苯?，第五屆中國(guó)數(shù)據(jù)中心綠色能源大會(huì)暨第十屆中國(guó)（上海）國(guó)際數(shù)據(jù)中心產(chǎn)業(yè)展覽會(huì)舉辦期間，在接受包括《IT時(shí)報(bào)》在內(nèi)的媒體采訪(fǎng)時(shí)，曙光數(shù)創(chuàng)副總裁兼CTO張鵬預(yù)測(cè)，隨著算力需求的增加，機(jī)架功率密度將快速上升，新建機(jī)架功率20kW起步，并向60kW普及，因此，未來(lái)十年是冷板液冷技術(shù)的高速發(fā)展期，液冷數(shù)據(jù)中心占比將超過(guò)六成。
“不過(guò)，再過(guò)十年將是浸沒(méi)式液冷技術(shù)的天下”，張鵬話(huà)鋒一轉(zhuǎn)說(shuō)道。在當(dāng)日展臺(tái)上，曙光數(shù)創(chuàng)擺放著一臺(tái)浸沒(méi)在液體中的服務(wù)器，這臺(tái)“缸式”浸沒(méi)液冷計(jì)算機(jī)，不僅可以讓PUE降至1.05，而且最高可支持的單機(jī)架功率可達(dá)210kW，“這只是一代產(chǎn)品，剛剛商用的二代產(chǎn)品最高可支持功率已達(dá)575kW，而正在研制的三代產(chǎn)品將高于750kW，它的單kW制冷成本遠(yuǎn)遠(yuǎn)低于風(fēng)冷和冷板液冷技術(shù)?！?
電影《流浪地球2》中，為了讓地球啟動(dòng)“流浪模式”，人類(lèi)必須重啟杜勒斯、東京、北京三地根服務(wù)器，其中位于北京的“未來(lái)航天中心計(jì)算機(jī)”便是一座“浸沒(méi)”式的水下數(shù)據(jù)中心，其原型正是曙光數(shù)創(chuàng)的相變浸沒(méi)液冷計(jì)算機(jī)。
如今，科幻仍是想象，科技已先至。
液冷不再是選擇題
對(duì)于數(shù)據(jù)中心而言，液冷架構(gòu)已不再是選擇題。
隨著著人工智能、大數(shù)據(jù)分析、虛擬化和高端計(jì)算等技術(shù)的迅速發(fā)展，算力中心對(duì)計(jì)算能力的要求越來(lái)越高。截至2024年6月，英特爾第六代服務(wù)器處理器單CPU功耗已突破300W，英偉達(dá)最新的超級(jí)芯片GB200功耗達(dá)2700W，MGX集群算力密度達(dá)100kW/柜。
中國(guó)信通院發(fā)布的《算力中心冷板式液冷發(fā)展研究報(bào)告(2024年)》顯示，高功耗、高密度的大型、超大型算力中心是未來(lái)建設(shè)的重點(diǎn)。如今，大型算力中心的單機(jī)架功率密度已接近8kW，少數(shù)超大型算力中心的單機(jī)架功率密度已達(dá)20kW。
然而，算力中心有限的電力承載能力成為限制算力提升的主要因素。張鵬告訴《IT時(shí)報(bào)》記者，北京某個(gè)智算中心采用了傳統(tǒng)的風(fēng)冷架構(gòu)，但GPU服務(wù)器的單機(jī)架功率密度達(dá)60kW以上，這幾乎已是風(fēng)冷的上限，當(dāng)大模型并行訓(xùn)練時(shí)，常常因任務(wù)太多、散熱能力不足而產(chǎn)生局部熱點(diǎn)，甚至宕機(jī)，因此只能將GPU降頻使用，導(dǎo)致可使用算力大幅下降。
液冷是將液體作為服務(wù)器的散熱方式，它的應(yīng)用可以使算力中心計(jì)算能力得到飛躍提升。目前主流液冷架構(gòu)有兩種：冷板和浸沒(méi)式。
冷板路線(xiàn)是在服務(wù)器背后直接加裝液冷板，將數(shù)據(jù)中心IT設(shè)備的熱量傳導(dǎo)到冷板上，然后通過(guò)冷板內(nèi)部液體循環(huán)實(shí)現(xiàn)換熱，再通過(guò)室外冷卻塔等設(shè)備實(shí)現(xiàn)散熱。
浸沒(méi)式則是直接將服務(wù)器電子元器件浸入特制具備高熱傳導(dǎo)性的冷媒中，冷媒沸點(diǎn)低，可以快速將服務(wù)器產(chǎn)生的熱量傳導(dǎo)出去，從而產(chǎn)生更高效的散熱效果。
目前冷板式液冷是最主流的液冷方案，IDC近日發(fā)布報(bào)告稱(chēng)，2023全年中國(guó)液冷服務(wù)器市場(chǎng)規(guī)模達(dá)到15.5億美元，其中95%以上均采用冷板式液冷解決方案。
《算力中心冷板式液冷發(fā)展研究報(bào)告(2024年)》透露，某算力中心引入了冷板式液冷系統(tǒng)后，將其應(yīng)用于高密度計(jì)算節(jié)點(diǎn)。在傳統(tǒng)空氣冷卻技術(shù)下，每個(gè)機(jī)柜的功率密度僅為8-10kW，而在采用冷板式液冷技術(shù)后，單機(jī)柜的功率密度大幅提升至33kW，可支持128顆CPU，單機(jī)柜最大支持66kW供電。
“從2011年啟動(dòng)液冷相關(guān)技術(shù)的研究，曙光的產(chǎn)品已連續(xù)三年在液冷領(lǐng)域保持市占率第一，”張鵬透露，國(guó)內(nèi)不少互聯(lián)網(wǎng)大廠(chǎng)均是曙光液冷方案的“買(mǎi)單人”，“某互聯(lián)網(wǎng)大廠(chǎng)去年大量采購(gòu)了我們的產(chǎn)品?！?
中國(guó)電子技術(shù)標(biāo)準(zhǔn)化研究院發(fā)布的《液冷數(shù)據(jù)中心白皮書(shū)》顯示，2023年曙光數(shù)創(chuàng)在液冷基礎(chǔ)設(shè)施市場(chǎng)的份額高達(dá)61.3%，連續(xù)3年蟬聯(lián)行業(yè)榜首。
冷板式液冷將統(tǒng)治未來(lái)十年
相較于風(fēng)冷系統(tǒng)，液冷技術(shù)從根本上改善了主設(shè)備的散熱形式，更能滿(mǎn)足高密機(jī)柜、芯片級(jí)精確制冷，具有更節(jié)能、噪聲低等優(yōu)點(diǎn)。
張鵬告訴記者，目前曙光數(shù)創(chuàng)冷板式液冷數(shù)據(jù)中心的PUE已經(jīng)可以做到1.2以?xún)?nèi)，而相變浸沒(méi)式數(shù)據(jù)中心能做到1.04，幾乎接近于1。
PUE是數(shù)據(jù)中心消耗的所有能源與IT負(fù)載消耗的能源比值，如果比值為1，意味著數(shù)據(jù)中心所有能源都將為算力服務(wù)。去年6月開(kāi)始實(shí)行的《綠色數(shù)據(jù)中心政府采購(gòu)需求標(biāo)準(zhǔn)》明確要求，數(shù)據(jù)中心PUE不高于1.4，2025年起數(shù)據(jù)中心PUE不高于1.3。
三家電信運(yùn)營(yíng)商2023年聯(lián)合發(fā)布的《電信運(yùn)營(yíng)商液冷技術(shù)白皮書(shū)》也顯示，2024年新建數(shù)據(jù)中心項(xiàng)目10%規(guī)模試點(diǎn)應(yīng)用液冷技術(shù)，推進(jìn)產(chǎn)業(yè)生態(tài)成熟；2025年及以后開(kāi)展規(guī)模應(yīng)用，50%以上數(shù)據(jù)中心項(xiàng)目應(yīng)用液冷技術(shù)。
液冷數(shù)據(jù)中心逐漸普及的一個(gè)重要原因是，冷板式液冷技術(shù)的成本不斷下降。相關(guān)數(shù)據(jù)顯示，2022年液冷數(shù)據(jù)中心1kW的散熱成本近6500元，相比2022年下降54.2%，預(yù)計(jì) 2023年1kW的散熱成本降至5000元，與傳統(tǒng)風(fēng)冷的建設(shè)成本基本持平。
曙光數(shù)創(chuàng)也曾進(jìn)行過(guò)市場(chǎng)摸底，2022年液冷服務(wù)器的滲透率約3%～5%，2023年上升至8%～10%，2024年之后有可能拉出一條上升直線(xiàn)，增長(zhǎng)率可達(dá)30%～40%。其中大部分是冷板式液冷服務(wù)器。張鵬認(rèn)為，10年內(nèi)冷板式技術(shù)架構(gòu)將成為智算中心的必選題，滲透率將有望最終定格為六成。
這個(gè)估算基本與中國(guó)算力格局相匹配。根據(jù)《2023~2024年中國(guó)人工智能計(jì)算力發(fā)展評(píng)估報(bào)告》，中國(guó)智能算力規(guī)模正處于高速增長(zhǎng)狀態(tài)。預(yù)計(jì)到2027年，中國(guó)智能算力規(guī)模將達(dá)1117.4EFLOPS，2022~2027年期間的年復(fù)合增長(zhǎng)率為33.9%。
浸沒(méi)式技術(shù)路線(xiàn)也逐漸獲得市場(chǎng)認(rèn)可，不過(guò)與其他發(fā)力單相浸沒(méi)式液冷技術(shù)路線(xiàn)的友商不同，曙光數(shù)創(chuàng)從一開(kāi)始便選了一條更難的路徑——相變浸沒(méi)式液冷技術(shù)。
相變浸沒(méi)式液冷
為未來(lái)做好準(zhǔn)備
翻閱各類(lèi)液冷式數(shù)據(jù)中心報(bào)告，談及冷板式和單相浸沒(méi)式技術(shù)路線(xiàn)時(shí)，總有多個(gè)廠(chǎng)商的方案可供參考，但在談及國(guó)產(chǎn)相變浸沒(méi)式液冷技術(shù)時(shí)，廠(chǎng)商的名字只剩下一個(gè)——曙光。
所謂相變，即物質(zhì)態(tài)勢(shì)發(fā)生改變，浸沒(méi)式的含氟冷卻液在受熱時(shí)發(fā)生相變成為氣態(tài)，利用液體汽化的潛熱吸收并帶走服務(wù)器內(nèi)發(fā)熱元件產(chǎn)生的熱量，從而大幅提升整個(gè)數(shù)據(jù)中心系統(tǒng)的換熱效率，并在冷凝后相變?yōu)橐后w，再度循環(huán)進(jìn)入液體箱，進(jìn)而提高整個(gè)數(shù)據(jù)中心系統(tǒng)的換熱效率。由此芯片核心溫度降低20℃到30℃，芯片性能約可提升10%至30%，而單位算力的投資成本亦可降低，據(jù)測(cè)算，冷板液冷初投資可低于風(fēng)冷，浸沒(méi)相變液冷5年TCO即可低于風(fēng)冷。
“每年的液體損耗在3%左右。”曙光展臺(tái)工作人員告訴記者，曙光數(shù)創(chuàng)浸沒(méi)相變液冷技術(shù)中不需要部署傳統(tǒng)風(fēng)冷設(shè)施，真正做到極致節(jié)能、全時(shí)全域自然冷卻，節(jié)約能效大于30%。
據(jù)了解，目前相變浸沒(méi)式液冷技術(shù)可實(shí)現(xiàn)功率密度高達(dá)250kW至500kW/浸沒(méi)腔，曙光正在研制的三代產(chǎn)品預(yù)期功率密度超過(guò)750kW，而“液體進(jìn)、液體出”的單相浸沒(méi)式液冷技術(shù)，目前普遍支持的最高單機(jī)架功率在100kW左右。
《IT時(shí)報(bào)》記者在現(xiàn)場(chǎng)看到曙光一代相變浸沒(méi)式液冷服務(wù)器機(jī)架模型，可支持八臺(tái)智算服務(wù)器，其中每臺(tái)智算服務(wù)器裝有兩塊CPU和八塊GPU，功率密度超過(guò)210kW，而這已經(jīng)是曙光數(shù)創(chuàng)數(shù)年前的產(chǎn)品，新商用的二代產(chǎn)品功率密度已超過(guò)500kW。
從目前智算中心的建設(shè)需求來(lái)看，單機(jī)架密度超過(guò)500kW是比較高的門(mén)檻，即便210kW也已是民用數(shù)據(jù)中心的天花板。超算中心目前是相變浸沒(méi)式液冷技術(shù)方案的主要場(chǎng)景。不過(guò)，隨著GPU的迭代升級(jí)，來(lái)自智算中心的功率密度要求正在加速上升。英偉達(dá)最新推出的MGX超級(jí)AI工廠(chǎng)，可支持72塊CPU，單臺(tái)功率密度達(dá)100kW。
在更高密度、更大規(guī)模的計(jì)算系統(tǒng)到來(lái)之前，相變浸沒(méi)式液冷技術(shù)方案做好了準(zhǔn)備。
目前，國(guó)內(nèi)只有曙光數(shù)創(chuàng)推出了相變浸沒(méi)式液冷數(shù)據(jù)中心，在一些關(guān)鍵技術(shù)上實(shí)現(xiàn)了國(guó)產(chǎn)突破。
據(jù)張鵬介紹，由于冷媒的介電常數(shù)與空氣不同，信號(hào)在浸沒(méi)環(huán)境中傳輸路徑的分布電容增加，導(dǎo)致高頻信號(hào)衰減。這給主板設(shè)計(jì)和信號(hào)完整性 (SI: Signal Integrity) 帶來(lái)了巨大挑戰(zhàn)。主板上的CPU、GPU、內(nèi)存、PCIe、高速網(wǎng)絡(luò)的信號(hào)速率均高于1Gbps，此類(lèi)信號(hào)在全浸環(huán)境下會(huì)出現(xiàn)明顯的失真，嚴(yán)重影響信號(hào)可靠傳輸。曙光數(shù)創(chuàng)通過(guò)研究浸沒(méi)環(huán)境下的高速信號(hào)衰減規(guī)律，針對(duì)關(guān)鍵高速信號(hào)傳輸進(jìn)行了優(yōu)化，形成了一整套針對(duì)浸沒(méi)環(huán)境的高速信號(hào)設(shè)計(jì)規(guī)范，包含主板Layout規(guī)則、板卡材料要求、測(cè)試方法等多方面內(nèi)容。
