中國儲(chǔ)能網(wǎng)訊：2022年全球在動(dòng)蕩中渡過,作為驅(qū)動(dòng)全球數(shù)字經(jīng)濟(jì)前行的數(shù)據(jù)中心行業(yè),也遭遇了疫情、中斷、高溫和火災(zāi)的影響,這也更讓數(shù)據(jù)中心從業(yè)者格外警惕,愈發(fā)小心謹(jǐn)慎,不斷總結(jié)和吸取教訓(xùn)經(jīng)驗(yàn)繼續(xù)前行。
擴(kuò)張和發(fā)展是行業(yè)的主旋律,隨著全球數(shù)字經(jīng)濟(jì)的發(fā)展,云計(jì)算大廠和服務(wù)企業(yè)的數(shù)據(jù)中心運(yùn)營商仍在不斷規(guī)劃和建設(shè)數(shù)據(jù)中心,滿足今后業(yè)務(wù)長遠(yuǎn)的發(fā)展。與此同時(shí),數(shù)據(jù)中心行業(yè)作為支持全社會(huì)數(shù)字轉(zhuǎn)型的基礎(chǔ)設(shè)施,也充分利用如人工智能等技術(shù)為行業(yè)賦能,在加大量子計(jì)算、氫能等技術(shù)探索和應(yīng)用的同時(shí),也在可持續(xù)發(fā)展的道路上為其他行業(yè)做了表率。
本文僅以國外數(shù)據(jù)中心行業(yè)的發(fā)展動(dòng)態(tài)和趨勢(shì)為軸,做個(gè)粗淺的盤點(diǎn)和分析,希望能對(duì)國內(nèi)數(shù)據(jù)中心同行有啟發(fā)。數(shù)據(jù)中心行業(yè)的范圍不僅包括Equinix,Digital Realty和NTT等運(yùn)營商,還包括亞馬遜網(wǎng)絡(luò)服務(wù)(AWS)、微軟、谷歌、Meta(前身為Facebook)等互聯(lián)網(wǎng)公有云大廠,他們?cè)谧庥脭?shù)據(jù)中心的同時(shí),也規(guī)劃和建設(shè)超大規(guī)模數(shù)據(jù)中心園區(qū),成為全球數(shù)據(jù)中心行業(yè)發(fā)展的重要風(fēng)向標(biāo)。
一、人工智能（AI）引領(lǐng)數(shù)據(jù)中心發(fā)展方向
不論是VR、AR為代表元宇宙應(yīng)用,還是自動(dòng)駕駛、智能家居,還是商業(yè)用的RPA客服,都要人工智能及背后的云計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)等基礎(chǔ)設(shè)施支撐,進(jìn)而要求IT架構(gòu)的硬件如GPU、TPU和DPU等匹配,支持傳統(tǒng)應(yīng)用的服務(wù)器面臨更新?lián)Q代。英特爾、AMD和英偉達(dá)(Nvidia)都提前布局,AWS也推出了Gravition自研芯片,為加入人工智能芯片的競爭做足了準(zhǔn)備。事實(shí)上,芯片才是整個(gè)數(shù)據(jù)中心最耗能的部分,提高芯片效能,利用人工智能的分支機(jī)器學(xué)習(xí)來降低計(jì)算機(jī)芯片的耗能非常有意義。
高性能芯片對(duì)機(jī)柜電力提出更高的需求,不論是使用液冷還是風(fēng)冷,亦或新型冷卻方式,是走到人工智能廣泛應(yīng)用賽道的數(shù)據(jù)中心運(yùn)營商和客戶都必須要直面和解決的問題。Meta在開放計(jì)算平臺(tái)(OCP)峰會(huì)上展示的支持人工智能硬件平臺(tái)OpenRackV3集成機(jī)柜,單機(jī)架的功率達(dá)到30kW并支持液冷,詳見圖1。
Meta停止了傳統(tǒng)數(shù)據(jù)中心的建設(shè)進(jìn)展,把數(shù)據(jù)中心作為支撐人工智能應(yīng)用基礎(chǔ)設(shè)施的角度進(jìn)行重新設(shè)計(jì)和規(guī)劃。2022年3月宣布在德克薩斯州的Temple數(shù)據(jù)中心投資8億美元,建設(shè)面積近9萬平米、員工100人、電力總?cè)萘考s為100MW且100%使用可再生能源的數(shù)據(jù)中心園區(qū),2022年12月該在建項(xiàng)目暫停,估計(jì)是要面向支持AI模型(針對(duì))的科研新型超級(jí)計(jì)算機(jī)RSC(Research Super Cluster,主要用來訓(xùn)練自然語言處理NLP和計(jì)算機(jī)視覺)進(jìn)行調(diào)整,RSC投入運(yùn)行后將成為全球最快的人工智能系統(tǒng)之一。2022年Meta部署的RSC系統(tǒng)在計(jì)算節(jié)點(diǎn)配備了760套英偉達(dá)DGXA100系統(tǒng),在500多個(gè)機(jī)柜中安裝了6,080多顆GPU。2023年RSC升級(jí)后將在1,200機(jī)柜中部署16,000顆GPU,AI訓(xùn)練性能提高至少2.5倍。
RSC系統(tǒng)大部分設(shè)備采用風(fēng)冷+冷板液冷方式(空氣輔助液體冷卻AALC)進(jìn)行散熱,其中InfiniBand網(wǎng)絡(luò)部分采用液冷冷板方式散熱。Meta和微軟一直合作開發(fā)可支持高達(dá)40kW功率的AALC模型,解決AI設(shè)備功率增加帶來的熱負(fù)荷散熱問題。
特斯拉也不甘落后,2022年10月份展示的神經(jīng)網(wǎng)絡(luò)E級(jí)超級(jí)計(jì)算機(jī)“Dojo”單機(jī)柜功率約200kW的,這對(duì)支撐的基礎(chǔ)設(shè)施都提出了更高的挑戰(zhàn)。
在支撐人工智能應(yīng)用的同時(shí),數(shù)據(jù)中心自身也是人工智能的應(yīng)用領(lǐng)域。谷歌利用機(jī)器學(xué)習(xí)對(duì)收集數(shù)據(jù)中心的大量相關(guān)信息進(jìn)行處理,將超大規(guī)模數(shù)據(jù)中心的PUE從1.21降低至1.12,其中人工智能發(fā)揮了重要作用。利用人工智能算法,對(duì)機(jī)房溫濕度、氣流組織、冷凍泵、冷卻塔等系統(tǒng),針對(duì)不同室外溫濕度進(jìn)行調(diào)整和邏輯切換,最大程度利用自然冷源,并不斷完善模型和持續(xù)尋優(yōu)。
NTT在一個(gè)數(shù)據(jù)中心內(nèi)部署了軀干輪式機(jī)器人用于執(zhí)行自動(dòng)巡檢任務(wù),可以檢查機(jī)房內(nèi)的溫、濕度、氣味外,利用熱成像儀和聲音判別,為今后實(shí)現(xiàn)自動(dòng)化運(yùn)維提供了一個(gè)很好的參考路徑,目前已商業(yè)化推廣,今后會(huì)見到越來越多的機(jī)器人在數(shù)據(jù)中心參與巡檢等日常運(yùn)維工作,詳見圖2。
老辦法解決不了新問題,如何挑戰(zhàn)支持和應(yīng)用人工智能都是數(shù)據(jù)中心行業(yè)共同面臨的機(jī)遇和挑戰(zhàn)。
二、中斷，永不中斷
Uptime發(fā)布2022年度數(shù)據(jù)中心中斷(Outage)分析報(bào)告指出,80%參與調(diào)查者表示過去3年曾遭遇過中斷。過去的一年全球也發(fā)生了幾次大的中斷,影響面越來越大,帶來的損失也越來越大。
去年1月,英國一座數(shù)據(jù)中心發(fā)生了中斷,導(dǎo)致金屬交易所中斷了4個(gè)小時(shí)。去年夏季,英國經(jīng)歷了創(chuàng)紀(jì)錄的高溫?zé)崂?谷歌云在倫敦的數(shù)據(jù)中心的多個(gè)冗余冷卻系統(tǒng)同時(shí)發(fā)生故障,被迫關(guān)閉了一部分云計(jì)算業(yè)務(wù)。
10月SK在首爾的一個(gè)數(shù)據(jù)中心發(fā)生火災(zāi)后停電,嚴(yán)重影響了大眾通訊軟件Kakao Talk，導(dǎo)致大部分韓國人受到影響，事后調(diào)查表明是由SKOn制造的鋰離子電池引起的，與2021年3月位于法國OVH cloud在斯特拉斯堡的SBG2火災(zāi)不同，那次火災(zāi)的可能來自鉛酸電池架和變頻器。
Twitter經(jīng)歷了兩次大的中斷,特別是2022年12月28日,埃隆?馬斯克(ElonMusk)親自監(jiān)督服務(wù)器更新時(shí)遭遇了7小時(shí)的中斷。
近期美國聯(lián)邦航空管理局(FAA)的飛行任務(wù)通知系統(tǒng)(NOTAM)發(fā)生故障,影響了幾千架飛機(jī)的正常起降。
中斷總是不斷在發(fā)生,影響面也越來越廣,事后回顧又多數(shù)可以采取措施避免,如何避免中斷的發(fā)生,如何把中斷的影響降到最低,將是數(shù)據(jù)中心運(yùn)營商和科技巨頭需要長期協(xié)作解決的問題,業(yè)務(wù)連續(xù)性管理(BCM)指導(dǎo)組織在業(yè)務(wù)中斷后應(yīng)對(duì)、恢復(fù)、繼續(xù)和還原到預(yù)定的運(yùn)營水平,今后將受到更多行業(yè)和客戶的關(guān)注。
三、可持續(xù)發(fā)展之路
目前各大互聯(lián)網(wǎng)、云計(jì)算巨頭對(duì)碳中和都已做出承諾,年度ESG(環(huán)境、社會(huì)和治理)的信息披露要求也促使他們通過與可再生能源公司合作簽訂能源購買協(xié)議(PPA),獲得集中式風(fēng)電、光伏的電力容量或取得清潔能源證書。
Equinix承諾在2030年前實(shí)現(xiàn)全球氣候中和(指組織的活動(dòng)對(duì)氣候系統(tǒng)沒有產(chǎn)生凈影響),公司與法國核電公司Neoen,就在芬蘭采購綠電簽訂了10年的合同,Equinix將獲得芬蘭某風(fēng)電場(chǎng)60%的發(fā)電量和原產(chǎn)地證明。這個(gè)合同也是兩家公司合作的第三個(gè)項(xiàng)目。
亞馬遜已對(duì)全球70多個(gè)新的可再生能源項(xiàng)目進(jìn)行投資,公司目標(biāo)是到2025年在其整個(gè)業(yè)務(wù)中實(shí)現(xiàn)100%的可再生能源。
微軟可持續(xù)發(fā)展目標(biāo)是到2030年,在全球范圍內(nèi)將100%的電力消耗與可再生能源采購相匹配,并承諾到2030年擺脫備用發(fā)電機(jī)對(duì)柴油的依賴,2022年8月微軟展示了一個(gè)由氫驅(qū)動(dòng)的3MW發(fā)電系統(tǒng),這是向數(shù)據(jù)中心零碳后備電源邁出的又一步。
谷歌在美國俄勒岡州Dalles市數(shù)據(jù)中心的用水量,在2021年占全市用水量的四分之一,該市地處干旱地區(qū),谷歌承諾將投入3000萬美元用以升級(jí)該市的供水設(shè)施,這讓人們都更加關(guān)注數(shù)據(jù)中心用電、用水的影響。
在北歐地區(qū),數(shù)據(jù)中心余熱回收為社區(qū)供熱已經(jīng)普及化,這也讓液冷成為該地區(qū)數(shù)據(jù)中心的優(yōu)選項(xiàng),一座大型數(shù)據(jù)中心相當(dāng)于近萬個(gè)家庭的用電,而其中大部分電能都轉(zhuǎn)換為熱能,余熱回收今后將在更多北方地方應(yīng)用和普及。
今后超大規(guī)模數(shù)據(jù)中心或園區(qū)采用100%可再生能源已經(jīng)成為基本的要求,歐洲和美國也開始陸續(xù)推出法規(guī),出臺(tái)措施督促數(shù)據(jù)中心和云計(jì)算巨頭們把對(duì)可持續(xù)發(fā)展的承諾真正落實(shí)到位,避免漂綠(虛假宣傳而未能真正落實(shí))的發(fā)生。
四、液冷、邊緣計(jì)算和量子計(jì)算
根據(jù)BIS Research《數(shù)據(jù)中心冷卻市場(chǎng)》的最新研究數(shù)據(jù)顯示,2021年全球數(shù)據(jù)中心冷卻市場(chǎng)約178.2億美元,預(yù)計(jì)到2027年將激增至445.2億美元,IT和電信領(lǐng)域?qū)⒁I(lǐng)數(shù)據(jù)中心制冷市場(chǎng)發(fā)展,通訊基站和邊緣計(jì)算的快速增長是主要的一個(gè)原因。
液冷不一定要全浸沒,會(huì)有更多設(shè)備通過靈活多樣的形式進(jìn)行散熱,在邊緣數(shù)據(jù)中心場(chǎng)景中,如基站和其他惡劣環(huán)境,工作負(fù)載可通過使用的是環(huán)保型電介質(zhì)液體進(jìn)行散熱。而浸沒式硬盤存儲(chǔ)憑借高能效、靜音和熱插拔也有一席之地,詳見圖3。
邊緣數(shù)據(jù)中心與傳統(tǒng)的數(shù)據(jù)中心不同的,通常被安置在邊緣側(cè)更小的結(jié)構(gòu)中,可以放在室外更靠近應(yīng)用場(chǎng)景,也可靠近通信設(shè)施如基站,通常依靠移動(dòng)設(shè)備與基站連接,依靠基站把數(shù)據(jù)回傳到云端,也可通過光纜與外部連接。最常見的邊緣數(shù)據(jù)中心是安裝在集裝箱中的幾個(gè)機(jī)架組成,或者是安裝在一定防護(hù)等級(jí)的封閉式機(jī)柜內(nèi)。據(jù)Dell'OroGroup預(yù)計(jì),到2026年全球邊緣數(shù)據(jù)中心市場(chǎng)將達(dá)到140億美元,隨著5G的普及,邊緣計(jì)算將有更豐富和廣泛的應(yīng)用場(chǎng)景。
已經(jīng)上市的三家量子計(jì)算公司雖然對(duì)盈利信心滿滿,在虧損持續(xù)增大的情況下也必須學(xué)會(huì)精打細(xì)算。量子計(jì)算公司Oxford Quantum Circuits(OQC)將在位于英國一座數(shù)據(jù)中心向客戶提供量子計(jì)算服務(wù),為今后普及開了先例。量子計(jì)算的廠商IonQ的Aria可通過微軟公有云Azure的量子平臺(tái)使用,相關(guān)機(jī)型更可通過公有云方式訪問,量子計(jì)算今后將成為可以通過云計(jì)算方式訪問的一種信息基礎(chǔ)設(shè)施走向廣泛的商業(yè)應(yīng)用,詳見圖4。
總之,邊緣計(jì)算和量子計(jì)算都是人們關(guān)注的熱點(diǎn),如何布局和提升邊緣數(shù)據(jù)中心的運(yùn)營能力,如何為量子計(jì)算提供所需的基礎(chǔ)設(shè)施,也是數(shù)據(jù)中心運(yùn)營商需要從技術(shù)、運(yùn)營和經(jīng)濟(jì)層面需要提前討論和規(guī)劃的方向。
五、全球布局中的熱點(diǎn)區(qū)域
亞馬遜、微軟、谷歌、Meta的巨頭和Equinix等數(shù)據(jù)中心運(yùn)營商在北美、歐洲平穩(wěn)布局的同時(shí),也都格外關(guān)注亞太和非洲都市場(chǎng),其中印度尼西亞、馬來西亞和印度憑借人口眾多4G、5G的發(fā)展及良好的市場(chǎng)潛力,已經(jīng)成了搶占亞洲市場(chǎng)的必爭之地。歐洲的西班牙馬德里備受青睞,而南非、智利、秘魯良好的發(fā)展前景也吸引了各大互聯(lián)網(wǎng)巨頭和Equinix的注意力。
Equinix在亞洲非?；钴S,在日本、印度、印度尼西亞、馬來西亞和澳大利亞新建數(shù)據(jù)中心的同時(shí)，不斷建設(shè)新的IBX(國際業(yè)務(wù)交換中心)，利用全球性網(wǎng)絡(luò)為客戶提供網(wǎng)絡(luò)連接服務(wù)的同時(shí)，也提高了競爭門檻。
印度是世界上最大的數(shù)據(jù)使用國之一,因?yàn)橛《葥碛薪?億智能手機(jī)用戶。此外,5G連接、云計(jì)算是推動(dòng)印度數(shù)據(jù)中心市場(chǎng)發(fā)展的主要因素。Equinix最近的一份聲明中稱,該公司在印度數(shù)據(jù)中心市場(chǎng)的增長率大大超過了全球平均水平,預(yù)計(jì)到2027年印度數(shù)據(jù)中心市場(chǎng)將達(dá)到到100.9億美元。JLL(仲量聯(lián)行)預(yù)計(jì)印度數(shù)據(jù)中心在2022-2024期間年增長率高達(dá)34%。近幾年印度公有云市場(chǎng)快速增長,預(yù)計(jì)2025年將達(dá)到108億美元規(guī)模,微軟去年在印度啟動(dòng)第4個(gè)數(shù)據(jù)中心。
美國以外的東南亞、印度、南美和非洲都有很好的發(fā)展空間,西班牙成為歐洲的熱土,海纜已經(jīng)成為連接各大洲和不同國家重要網(wǎng)絡(luò)基礎(chǔ)設(shè)施。從經(jīng)濟(jì)體量、增長速度、人口數(shù)量和網(wǎng)絡(luò)發(fā)展水平看,東南亞和印度的潛力巨大,將成為今后數(shù)據(jù)中心運(yùn)營商和互聯(lián)網(wǎng)巨頭布局和競爭的主戰(zhàn)場(chǎng)。
六、人才和人文
2022年下半年開始,以AWS、谷歌、Meta和Twitter為代表的科技巨頭紛紛宣布裁員計(jì)劃,其中Meta將有近11000名員工失去工作,而Twitter在被收購后,解雇一半多員工。
而面臨各種壓力,數(shù)據(jù)中心從業(yè)人員仍然需要更多有經(jīng)驗(yàn)的專業(yè)人員,不僅僅是暖通和配電的專業(yè)人員,今后懂基礎(chǔ)設(shè)施運(yùn)維并需要有軟件開發(fā)能力的人員將成為搶手的人才。目前數(shù)據(jù)中心基礎(chǔ)設(shè)施人員年齡偏大,學(xué)習(xí)和利用IT等能力偏弱,這加劇了今后結(jié)構(gòu)性人才短缺的隱患。今后加大技能培訓(xùn)的同時(shí),學(xué)習(xí)利用云計(jì)算、大數(shù)據(jù)和人工智能來提升數(shù)據(jù)中心的運(yùn)維水平將是所有從業(yè)人員都需要提升的方向。
歐洲和美國等地的居民和社團(tuán)組織對(duì)身邊的數(shù)據(jù)中心也越來越敏感,對(duì)數(shù)據(jù)中心用水對(duì)社區(qū)和城市的影響,促使數(shù)據(jù)中心運(yùn)營商對(duì)生物多樣性及環(huán)保等方面加大投入和贊助,通過各種方式贏得民眾的好感和體現(xiàn)社會(huì)自然責(zé)任感。靠近社區(qū)的數(shù)據(jù)中心建筑業(yè)開始注重人文效果。
北弗吉尼亞州的居民經(jīng)常抱怨位于勞登縣主要道路兩旁的數(shù)據(jù)中心的外觀過于沉悶無趣，Equinix在外墻增加了LED希望照明，晚上對(duì)建筑外立面投射不同顏色的燈光，對(duì)應(yīng)不同的假期、紀(jì)念節(jié)日或季節(jié)，紅白藍(lán)色對(duì)應(yīng)7月6日美國獨(dú)立日的顏色。
為了節(jié)省土地,海洋與河流是人們一直在尋找的數(shù)據(jù)中心場(chǎng)地,法國初創(chuàng)公司Denv-R計(jì)劃建設(shè)一個(gè)由再生鋼制成類似雙體船的漂浮式數(shù)據(jù)中心,適合部署在城市河流上,使用被動(dòng)循環(huán)水而不需要泵送冷卻水。還裝有太陽能電池板和風(fēng)力渦輪機(jī),設(shè)施規(guī)劃電力容量為200kW。
今后數(shù)據(jù)中心的同行們會(huì)采取更多類似的方式,改善人們對(duì)數(shù)據(jù)中心建筑乃至行業(yè)的印象——我們本來就是一群有趣的科技人。
