中國儲能網訊：AI風暴席卷全球時，“能源陰影”始終如影隨形。
“真正的電力短缺局面即將到來?！卑雽w分析機構SemiAnalysis在一份報告中指出，全球數據中心關鍵IT電力需求將在2026年激增至96吉瓦（1吉瓦=100萬kW），其中人工智能將消耗約40吉瓦。
這樣的增速對于全球而言均是巨大挑戰(zhàn)。數據顯示，全球數字技術耗電量從2018年占比不到2%提升至2023年的10%，預計到2030年占比將達到20%。
比特和瓦特能否和諧共存，是影響算力能否高速狂奔的關鍵因素，液冷技術的出現，帶來了解開難題的“鑰匙”。但與此同時，液冷數據中心建設者和運營者必須先解決高算力、低PUE和低TCO的“不可能三角”關系。
“我們做過內部測算，當單個機架功率密度超過10kW之后，采用冷板液冷架構的單kW制冷成本將低于傳統(tǒng)的風冷架構。”近日，第五屆中國數據中心綠色能源大會暨第十屆中國（上海）國際數據中心產業(yè)展覽會舉辦期間，在接受包括《IT時報》在內的媒體采訪時，曙光數創(chuàng)副總裁兼CTO張鵬預測，隨著算力需求的增加，機架功率密度將快速上升，新建機架功率20kW起步，并向60kW普及，因此，未來十年是冷板液冷技術的高速發(fā)展期，液冷數據中心占比將超過六成。
“不過，再過十年將是浸沒式液冷技術的天下”，張鵬話鋒一轉說道。在當日展臺上，曙光數創(chuàng)擺放著一臺浸沒在液體中的服務器，這臺“缸式”浸沒液冷計算機，不僅可以讓PUE降至1.05，而且最高可支持的單機架功率可達210kW，“這只是一代產品，剛剛商用的二代產品最高可支持功率已達575kW，而正在研制的三代產品將高于750kW，它的單kW制冷成本遠遠低于風冷和冷板液冷技術?！?
電影《流浪地球2》中，為了讓地球啟動“流浪模式”，人類必須重啟杜勒斯、東京、北京三地根服務器，其中位于北京的“未來航天中心計算機”便是一座“浸沒”式的水下數據中心，其原型正是曙光數創(chuàng)的相變浸沒液冷計算機。
如今，科幻仍是想象，科技已先至。
液冷不再是選擇題
對于數據中心而言，液冷架構已不再是選擇題。
隨著著人工智能、大數據分析、虛擬化和高端計算等技術的迅速發(fā)展，算力中心對計算能力的要求越來越高。截至2024年6月，英特爾第六代服務器處理器單CPU功耗已突破300W，英偉達最新的超級芯片GB200功耗達2700W，MGX集群算力密度達100kW/柜。
中國信通院發(fā)布的《算力中心冷板式液冷發(fā)展研究報告(2024年)》顯示，高功耗、高密度的大型、超大型算力中心是未來建設的重點。如今，大型算力中心的單機架功率密度已接近8kW，少數超大型算力中心的單機架功率密度已達20kW。
然而，算力中心有限的電力承載能力成為限制算力提升的主要因素。張鵬告訴《IT時報》記者，北京某個智算中心采用了傳統(tǒng)的風冷架構，但GPU服務器的單機架功率密度達60kW以上，這幾乎已是風冷的上限，當大模型并行訓練時，常常因任務太多、散熱能力不足而產生局部熱點，甚至宕機，因此只能將GPU降頻使用，導致可使用算力大幅下降。
液冷是將液體作為服務器的散熱方式，它的應用可以使算力中心計算能力得到飛躍提升。目前主流液冷架構有兩種：冷板和浸沒式。
冷板路線是在服務器背后直接加裝液冷板，將數據中心IT設備的熱量傳導到冷板上，然后通過冷板內部液體循環(huán)實現換熱，再通過室外冷卻塔等設備實現散熱。
浸沒式則是直接將服務器電子元器件浸入特制具備高熱傳導性的冷媒中，冷媒沸點低，可以快速將服務器產生的熱量傳導出去，從而產生更高效的散熱效果。
目前冷板式液冷是最主流的液冷方案，IDC近日發(fā)布報告稱，2023全年中國液冷服務器市場規(guī)模達到15.5億美元，其中95%以上均采用冷板式液冷解決方案。
《算力中心冷板式液冷發(fā)展研究報告(2024年)》透露，某算力中心引入了冷板式液冷系統(tǒng)后，將其應用于高密度計算節(jié)點。在傳統(tǒng)空氣冷卻技術下，每個機柜的功率密度僅為8-10kW，而在采用冷板式液冷技術后，單機柜的功率密度大幅提升至33kW，可支持128顆CPU，單機柜最大支持66kW供電。
“從2011年啟動液冷相關技術的研究，曙光的產品已連續(xù)三年在液冷領域保持市占率第一，”張鵬透露，國內不少互聯網大廠均是曙光液冷方案的“買單人”，“某互聯網大廠去年大量采購了我們的產品?！?
中國電子技術標準化研究院發(fā)布的《液冷數據中心白皮書》顯示，2023年曙光數創(chuàng)在液冷基礎設施市場的份額高達61.3%，連續(xù)3年蟬聯行業(yè)榜首。
冷板式液冷將統(tǒng)治未來十年
相較于風冷系統(tǒng)，液冷技術從根本上改善了主設備的散熱形式，更能滿足高密機柜、芯片級精確制冷，具有更節(jié)能、噪聲低等優(yōu)點。
張鵬告訴記者，目前曙光數創(chuàng)冷板式液冷數據中心的PUE已經可以做到1.2以內，而相變浸沒式數據中心能做到1.04，幾乎接近于1。
PUE是數據中心消耗的所有能源與IT負載消耗的能源比值，如果比值為1，意味著數據中心所有能源都將為算力服務。去年6月開始實行的《綠色數據中心政府采購需求標準》明確要求，數據中心PUE不高于1.4，2025年起數據中心PUE不高于1.3。
三家電信運營商2023年聯合發(fā)布的《電信運營商液冷技術白皮書》也顯示，2024年新建數據中心項目10%規(guī)模試點應用液冷技術，推進產業(yè)生態(tài)成熟；2025年及以后開展規(guī)模應用，50%以上數據中心項目應用液冷技術。
液冷數據中心逐漸普及的一個重要原因是，冷板式液冷技術的成本不斷下降。相關數據顯示，2022年液冷數據中心1kW的散熱成本近6500元，相比2022年下降54.2%，預計 2023年1kW的散熱成本降至5000元，與傳統(tǒng)風冷的建設成本基本持平。
曙光數創(chuàng)也曾進行過市場摸底，2022年液冷服務器的滲透率約3%～5%，2023年上升至8%～10%，2024年之后有可能拉出一條上升直線，增長率可達30%～40%。其中大部分是冷板式液冷服務器。張鵬認為，10年內冷板式技術架構將成為智算中心的必選題，滲透率將有望最終定格為六成。
這個估算基本與中國算力格局相匹配。根據《2023~2024年中國人工智能計算力發(fā)展評估報告》，中國智能算力規(guī)模正處于高速增長狀態(tài)。預計到2027年，中國智能算力規(guī)模將達1117.4EFLOPS，2022~2027年期間的年復合增長率為33.9%。
浸沒式技術路線也逐漸獲得市場認可，不過與其他發(fā)力單相浸沒式液冷技術路線的友商不同，曙光數創(chuàng)從一開始便選了一條更難的路徑——相變浸沒式液冷技術。
相變浸沒式液冷
為未來做好準備
翻閱各類液冷式數據中心報告，談及冷板式和單相浸沒式技術路線時，總有多個廠商的方案可供參考，但在談及國產相變浸沒式液冷技術時，廠商的名字只剩下一個——曙光。
所謂相變，即物質態(tài)勢發(fā)生改變，浸沒式的含氟冷卻液在受熱時發(fā)生相變成為氣態(tài)，利用液體汽化的潛熱吸收并帶走服務器內發(fā)熱元件產生的熱量，從而大幅提升整個數據中心系統(tǒng)的換熱效率，并在冷凝后相變?yōu)橐后w，再度循環(huán)進入液體箱，進而提高整個數據中心系統(tǒng)的換熱效率。由此芯片核心溫度降低20℃到30℃，芯片性能約可提升10%至30%，而單位算力的投資成本亦可降低，據測算，冷板液冷初投資可低于風冷，浸沒相變液冷5年TCO即可低于風冷。
“每年的液體損耗在3%左右?！笔锕庹古_工作人員告訴記者，曙光數創(chuàng)浸沒相變液冷技術中不需要部署傳統(tǒng)風冷設施，真正做到極致節(jié)能、全時全域自然冷卻，節(jié)約能效大于30%。
據了解，目前相變浸沒式液冷技術可實現功率密度高達250kW至500kW/浸沒腔，曙光正在研制的三代產品預期功率密度超過750kW，而“液體進、液體出”的單相浸沒式液冷技術，目前普遍支持的最高單機架功率在100kW左右。
《IT時報》記者在現場看到曙光一代相變浸沒式液冷服務器機架模型，可支持八臺智算服務器，其中每臺智算服務器裝有兩塊CPU和八塊GPU，功率密度超過210kW，而這已經是曙光數創(chuàng)數年前的產品，新商用的二代產品功率密度已超過500kW。
從目前智算中心的建設需求來看，單機架密度超過500kW是比較高的門檻，即便210kW也已是民用數據中心的天花板。超算中心目前是相變浸沒式液冷技術方案的主要場景。不過，隨著GPU的迭代升級，來自智算中心的功率密度要求正在加速上升。英偉達最新推出的MGX超級AI工廠，可支持72塊CPU，單臺功率密度達100kW。
在更高密度、更大規(guī)模的計算系統(tǒng)到來之前，相變浸沒式液冷技術方案做好了準備。
目前，國內只有曙光數創(chuàng)推出了相變浸沒式液冷數據中心，在一些關鍵技術上實現了國產突破。
據張鵬介紹，由于冷媒的介電常數與空氣不同，信號在浸沒環(huán)境中傳輸路徑的分布電容增加，導致高頻信號衰減。這給主板設計和信號完整性 (SI: Signal Integrity) 帶來了巨大挑戰(zhàn)。主板上的CPU、GPU、內存、PCIe、高速網絡的信號速率均高于1Gbps，此類信號在全浸環(huán)境下會出現明顯的失真，嚴重影響信號可靠傳輸。曙光數創(chuàng)通過研究浸沒環(huán)境下的高速信號衰減規(guī)律，針對關鍵高速信號傳輸進行了優(yōu)化，形成了一整套針對浸沒環(huán)境的高速信號設計規(guī)范，包含主板Layout規(guī)則、板卡材料要求、測試方法等多方面內容。
