中國(guó)儲(chǔ)能網(wǎng)訊：2022年全球在動(dòng)蕩中渡過(guò),作為驅(qū)動(dòng)全球數(shù)字經(jīng)濟(jì)前行的數(shù)據(jù)中心行業(yè),也遭遇了疫情、中斷、高溫和火災(zāi)的影響,這也更讓數(shù)據(jù)中心從業(yè)者格外警惕,愈發(fā)小心謹(jǐn)慎,不斷總結(jié)和吸取教訓(xùn)經(jīng)驗(yàn)繼續(xù)前行。
擴(kuò)張和發(fā)展是行業(yè)的主旋律,隨著全球數(shù)字經(jīng)濟(jì)的發(fā)展,云計(jì)算大廠和服務(wù)企業(yè)的數(shù)據(jù)中心運(yùn)營(yíng)商仍在不斷規(guī)劃和建設(shè)數(shù)據(jù)中心,滿足今后業(yè)務(wù)長(zhǎng)遠(yuǎn)的發(fā)展。與此同時(shí),數(shù)據(jù)中心行業(yè)作為支持全社會(huì)數(shù)字轉(zhuǎn)型的基礎(chǔ)設(shè)施,也充分利用如人工智能等技術(shù)為行業(yè)賦能,在加大量子計(jì)算、氫能等技術(shù)探索和應(yīng)用的同時(shí),也在可持續(xù)發(fā)展的道路上為其他行業(yè)做了表率。
本文僅以國(guó)外數(shù)據(jù)中心行業(yè)的發(fā)展動(dòng)態(tài)和趨勢(shì)為軸,做個(gè)粗淺的盤點(diǎn)和分析,希望能對(duì)國(guó)內(nèi)數(shù)據(jù)中心同行有啟發(fā)。數(shù)據(jù)中心行業(yè)的范圍不僅包括Equinix,Digital Realty和NTT等運(yùn)營(yíng)商,還包括亞馬遜網(wǎng)絡(luò)服務(wù)(AWS)、微軟、谷歌、Meta(前身為Facebook)等互聯(lián)網(wǎng)公有云大廠,他們?cè)谧庥脭?shù)據(jù)中心的同時(shí),也規(guī)劃和建設(shè)超大規(guī)模數(shù)據(jù)中心園區(qū),成為全球數(shù)據(jù)中心行業(yè)發(fā)展的重要風(fēng)向標(biāo)。
一、人工智能（AI）引領(lǐng)數(shù)據(jù)中心發(fā)展方向
不論是VR、AR為代表元宇宙應(yīng)用,還是自動(dòng)駕駛、智能家居,還是商業(yè)用的RPA客服,都要人工智能及背后的云計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)等基礎(chǔ)設(shè)施支撐,進(jìn)而要求IT架構(gòu)的硬件如GPU、TPU和DPU等匹配,支持傳統(tǒng)應(yīng)用的服務(wù)器面臨更新?lián)Q代。英特爾、AMD和英偉達(dá)(Nvidia)都提前布局,AWS也推出了Gravition自研芯片,為加入人工智能芯片的競(jìng)爭(zhēng)做足了準(zhǔn)備。事實(shí)上,芯片才是整個(gè)數(shù)據(jù)中心最耗能的部分,提高芯片效能,利用人工智能的分支機(jī)器學(xué)習(xí)來(lái)降低計(jì)算機(jī)芯片的耗能非常有意義。
高性能芯片對(duì)機(jī)柜電力提出更高的需求,不論是使用液冷還是風(fēng)冷,亦或新型冷卻方式,是走到人工智能廣泛應(yīng)用賽道的數(shù)據(jù)中心運(yùn)營(yíng)商和客戶都必須要直面和解決的問(wèn)題。Meta在開(kāi)放計(jì)算平臺(tái)(OCP)峰會(huì)上展示的支持人工智能硬件平臺(tái)OpenRackV3集成機(jī)柜,單機(jī)架的功率達(dá)到30kW并支持液冷,詳見(jiàn)圖1。
Meta停止了傳統(tǒng)數(shù)據(jù)中心的建設(shè)進(jìn)展,把數(shù)據(jù)中心作為支撐人工智能應(yīng)用基礎(chǔ)設(shè)施的角度進(jìn)行重新設(shè)計(jì)和規(guī)劃。2022年3月宣布在德克薩斯州的Temple數(shù)據(jù)中心投資8億美元,建設(shè)面積近9萬(wàn)平米、員工100人、電力總?cè)萘考s為100MW且100%使用可再生能源的數(shù)據(jù)中心園區(qū),2022年12月該在建項(xiàng)目暫停,估計(jì)是要面向支持AI模型(針對(duì))的科研新型超級(jí)計(jì)算機(jī)RSC(Research Super Cluster,主要用來(lái)訓(xùn)練自然語(yǔ)言處理NLP和計(jì)算機(jī)視覺(jué))進(jìn)行調(diào)整,RSC投入運(yùn)行后將成為全球最快的人工智能系統(tǒng)之一。2022年Meta部署的RSC系統(tǒng)在計(jì)算節(jié)點(diǎn)配備了760套英偉達(dá)DGXA100系統(tǒng),在500多個(gè)機(jī)柜中安裝了6,080多顆GPU。2023年RSC升級(jí)后將在1,200機(jī)柜中部署16,000顆GPU,AI訓(xùn)練性能提高至少2.5倍。
RSC系統(tǒng)大部分設(shè)備采用風(fēng)冷+冷板液冷方式(空氣輔助液體冷卻AALC)進(jìn)行散熱,其中InfiniBand網(wǎng)絡(luò)部分采用液冷冷板方式散熱。Meta和微軟一直合作開(kāi)發(fā)可支持高達(dá)40kW功率的AALC模型,解決AI設(shè)備功率增加帶來(lái)的熱負(fù)荷散熱問(wèn)題。
特斯拉也不甘落后,2022年10月份展示的神經(jīng)網(wǎng)絡(luò)E級(jí)超級(jí)計(jì)算機(jī)“Dojo”單機(jī)柜功率約200kW的,這對(duì)支撐的基礎(chǔ)設(shè)施都提出了更高的挑戰(zhàn)。
在支撐人工智能應(yīng)用的同時(shí),數(shù)據(jù)中心自身也是人工智能的應(yīng)用領(lǐng)域。谷歌利用機(jī)器學(xué)習(xí)對(duì)收集數(shù)據(jù)中心的大量相關(guān)信息進(jìn)行處理,將超大規(guī)模數(shù)據(jù)中心的PUE從1.21降低至1.12,其中人工智能發(fā)揮了重要作用。利用人工智能算法,對(duì)機(jī)房溫濕度、氣流組織、冷凍泵、冷卻塔等系統(tǒng),針對(duì)不同室外溫濕度進(jìn)行調(diào)整和邏輯切換,最大程度利用自然冷源,并不斷完善模型和持續(xù)尋優(yōu)。
NTT在一個(gè)數(shù)據(jù)中心內(nèi)部署了軀干輪式機(jī)器人用于執(zhí)行自動(dòng)巡檢任務(wù),可以檢查機(jī)房?jī)?nèi)的溫、濕度、氣味外,利用熱成像儀和聲音判別,為今后實(shí)現(xiàn)自動(dòng)化運(yùn)維提供了一個(gè)很好的參考路徑,目前已商業(yè)化推廣,今后會(huì)見(jiàn)到越來(lái)越多的機(jī)器人在數(shù)據(jù)中心參與巡檢等日常運(yùn)維工作,詳見(jiàn)圖2。
老辦法解決不了新問(wèn)題,如何挑戰(zhàn)支持和應(yīng)用人工智能都是數(shù)據(jù)中心行業(yè)共同面臨的機(jī)遇和挑戰(zhàn)。
二、中斷，永不中斷
Uptime發(fā)布2022年度數(shù)據(jù)中心中斷(Outage)分析報(bào)告指出,80%參與調(diào)查者表示過(guò)去3年曾遭遇過(guò)中斷。過(guò)去的一年全球也發(fā)生了幾次大的中斷,影響面越來(lái)越大,帶來(lái)的損失也越來(lái)越大。
去年1月,英國(guó)一座數(shù)據(jù)中心發(fā)生了中斷,導(dǎo)致金屬交易所中斷了4個(gè)小時(shí)。去年夏季,英國(guó)經(jīng)歷了創(chuàng)紀(jì)錄的高溫?zé)崂?谷歌云在倫敦的數(shù)據(jù)中心的多個(gè)冗余冷卻系統(tǒng)同時(shí)發(fā)生故障,被迫關(guān)閉了一部分云計(jì)算業(yè)務(wù)。
10月SK在首爾的一個(gè)數(shù)據(jù)中心發(fā)生火災(zāi)后停電,嚴(yán)重影響了大眾通訊軟件Kakao Talk，導(dǎo)致大部分韓國(guó)人受到影響，事后調(diào)查表明是由SKOn制造的鋰離子電池引起的，與2021年3月位于法國(guó)OVH cloud在斯特拉斯堡的SBG2火災(zāi)不同，那次火災(zāi)的可能來(lái)自鉛酸電池架和變頻器。
Twitter經(jīng)歷了兩次大的中斷,特別是2022年12月28日,埃隆?馬斯克(ElonMusk)親自監(jiān)督服務(wù)器更新時(shí)遭遇了7小時(shí)的中斷。
近期美國(guó)聯(lián)邦航空管理局(FAA)的飛行任務(wù)通知系統(tǒng)(NOTAM)發(fā)生故障,影響了幾千架飛機(jī)的正常起降。
中斷總是不斷在發(fā)生,影響面也越來(lái)越廣,事后回顧又多數(shù)可以采取措施避免,如何避免中斷的發(fā)生,如何把中斷的影響降到最低,將是數(shù)據(jù)中心運(yùn)營(yíng)商和科技巨頭需要長(zhǎng)期協(xié)作解決的問(wèn)題,業(yè)務(wù)連續(xù)性管理(BCM)指導(dǎo)組織在業(yè)務(wù)中斷后應(yīng)對(duì)、恢復(fù)、繼續(xù)和還原到預(yù)定的運(yùn)營(yíng)水平,今后將受到更多行業(yè)和客戶的關(guān)注。
三、可持續(xù)發(fā)展之路
目前各大互聯(lián)網(wǎng)、云計(jì)算巨頭對(duì)碳中和都已做出承諾,年度ESG(環(huán)境、社會(huì)和治理)的信息披露要求也促使他們通過(guò)與可再生能源公司合作簽訂能源購(gòu)買協(xié)議(PPA),獲得集中式風(fēng)電、光伏的電力容量或取得清潔能源證書(shū)。
Equinix承諾在2030年前實(shí)現(xiàn)全球氣候中和(指組織的活動(dòng)對(duì)氣候系統(tǒng)沒(méi)有產(chǎn)生凈影響),公司與法國(guó)核電公司Neoen,就在芬蘭采購(gòu)綠電簽訂了10年的合同,Equinix將獲得芬蘭某風(fēng)電場(chǎng)60%的發(fā)電量和原產(chǎn)地證明。這個(gè)合同也是兩家公司合作的第三個(gè)項(xiàng)目。
亞馬遜已對(duì)全球70多個(gè)新的可再生能源項(xiàng)目進(jìn)行投資,公司目標(biāo)是到2025年在其整個(gè)業(yè)務(wù)中實(shí)現(xiàn)100%的可再生能源。
微軟可持續(xù)發(fā)展目標(biāo)是到2030年,在全球范圍內(nèi)將100%的電力消耗與可再生能源采購(gòu)相匹配,并承諾到2030年擺脫備用發(fā)電機(jī)對(duì)柴油的依賴,2022年8月微軟展示了一個(gè)由氫驅(qū)動(dòng)的3MW發(fā)電系統(tǒng),這是向數(shù)據(jù)中心零碳后備電源邁出的又一步。
谷歌在美國(guó)俄勒岡州Dalles市數(shù)據(jù)中心的用水量,在2021年占全市用水量的四分之一,該市地處干旱地區(qū),谷歌承諾將投入3000萬(wàn)美元用以升級(jí)該市的供水設(shè)施,這讓人們都更加關(guān)注數(shù)據(jù)中心用電、用水的影響。
在北歐地區(qū),數(shù)據(jù)中心余熱回收為社區(qū)供熱已經(jīng)普及化,這也讓液冷成為該地區(qū)數(shù)據(jù)中心的優(yōu)選項(xiàng),一座大型數(shù)據(jù)中心相當(dāng)于近萬(wàn)個(gè)家庭的用電,而其中大部分電能都轉(zhuǎn)換為熱能,余熱回收今后將在更多北方地方應(yīng)用和普及。
今后超大規(guī)模數(shù)據(jù)中心或園區(qū)采用100%可再生能源已經(jīng)成為基本的要求,歐洲和美國(guó)也開(kāi)始陸續(xù)推出法規(guī),出臺(tái)措施督促數(shù)據(jù)中心和云計(jì)算巨頭們把對(duì)可持續(xù)發(fā)展的承諾真正落實(shí)到位,避免漂綠(虛假宣傳而未能真正落實(shí))的發(fā)生。
四、液冷、邊緣計(jì)算和量子計(jì)算
根據(jù)BIS Research《數(shù)據(jù)中心冷卻市場(chǎng)》的最新研究數(shù)據(jù)顯示,2021年全球數(shù)據(jù)中心冷卻市場(chǎng)約178.2億美元,預(yù)計(jì)到2027年將激增至445.2億美元,IT和電信領(lǐng)域?qū)⒁I(lǐng)數(shù)據(jù)中心制冷市場(chǎng)發(fā)展,通訊基站和邊緣計(jì)算的快速增長(zhǎng)是主要的一個(gè)原因。
液冷不一定要全浸沒(méi),會(huì)有更多設(shè)備通過(guò)靈活多樣的形式進(jìn)行散熱,在邊緣數(shù)據(jù)中心場(chǎng)景中,如基站和其他惡劣環(huán)境,工作負(fù)載可通過(guò)使用的是環(huán)保型電介質(zhì)液體進(jìn)行散熱。而浸沒(méi)式硬盤存儲(chǔ)憑借高能效、靜音和熱插拔也有一席之地,詳見(jiàn)圖3。
邊緣數(shù)據(jù)中心與傳統(tǒng)的數(shù)據(jù)中心不同的,通常被安置在邊緣側(cè)更小的結(jié)構(gòu)中,可以放在室外更靠近應(yīng)用場(chǎng)景,也可靠近通信設(shè)施如基站,通常依靠移動(dòng)設(shè)備與基站連接,依靠基站把數(shù)據(jù)回傳到云端,也可通過(guò)光纜與外部連接。最常見(jiàn)的邊緣數(shù)據(jù)中心是安裝在集裝箱中的幾個(gè)機(jī)架組成,或者是安裝在一定防護(hù)等級(jí)的封閉式機(jī)柜內(nèi)。據(jù)Dell'OroGroup預(yù)計(jì),到2026年全球邊緣數(shù)據(jù)中心市場(chǎng)將達(dá)到140億美元,隨著5G的普及,邊緣計(jì)算將有更豐富和廣泛的應(yīng)用場(chǎng)景。
已經(jīng)上市的三家量子計(jì)算公司雖然對(duì)盈利信心滿滿,在虧損持續(xù)增大的情況下也必須學(xué)會(huì)精打細(xì)算。量子計(jì)算公司Oxford Quantum Circuits(OQC)將在位于英國(guó)一座數(shù)據(jù)中心向客戶提供量子計(jì)算服務(wù),為今后普及開(kāi)了先例。量子計(jì)算的廠商IonQ的Aria可通過(guò)微軟公有云Azure的量子平臺(tái)使用,相關(guān)機(jī)型更可通過(guò)公有云方式訪問(wèn),量子計(jì)算今后將成為可以通過(guò)云計(jì)算方式訪問(wèn)的一種信息基礎(chǔ)設(shè)施走向廣泛的商業(yè)應(yīng)用,詳見(jiàn)圖4。
總之,邊緣計(jì)算和量子計(jì)算都是人們關(guān)注的熱點(diǎn),如何布局和提升邊緣數(shù)據(jù)中心的運(yùn)營(yíng)能力,如何為量子計(jì)算提供所需的基礎(chǔ)設(shè)施,也是數(shù)據(jù)中心運(yùn)營(yíng)商需要從技術(shù)、運(yùn)營(yíng)和經(jīng)濟(jì)層面需要提前討論和規(guī)劃的方向。
五、全球布局中的熱點(diǎn)區(qū)域
亞馬遜、微軟、谷歌、Meta的巨頭和Equinix等數(shù)據(jù)中心運(yùn)營(yíng)商在北美、歐洲平穩(wěn)布局的同時(shí),也都格外關(guān)注亞太和非洲都市場(chǎng),其中印度尼西亞、馬來(lái)西亞和印度憑借人口眾多4G、5G的發(fā)展及良好的市場(chǎng)潛力,已經(jīng)成了搶占亞洲市場(chǎng)的必爭(zhēng)之地。歐洲的西班牙馬德里備受青睞,而南非、智利、秘魯良好的發(fā)展前景也吸引了各大互聯(lián)網(wǎng)巨頭和Equinix的注意力。
Equinix在亞洲非?；钴S,在日本、印度、印度尼西亞、馬來(lái)西亞和澳大利亞新建數(shù)據(jù)中心的同時(shí)，不斷建設(shè)新的IBX(國(guó)際業(yè)務(wù)交換中心)，利用全球性網(wǎng)絡(luò)為客戶提供網(wǎng)絡(luò)連接服務(wù)的同時(shí)，也提高了競(jìng)爭(zhēng)門檻。
印度是世界上最大的數(shù)據(jù)使用國(guó)之一,因?yàn)橛《葥碛薪?億智能手機(jī)用戶。此外,5G連接、云計(jì)算是推動(dòng)印度數(shù)據(jù)中心市場(chǎng)發(fā)展的主要因素。Equinix最近的一份聲明中稱,該公司在印度數(shù)據(jù)中心市場(chǎng)的增長(zhǎng)率大大超過(guò)了全球平均水平,預(yù)計(jì)到2027年印度數(shù)據(jù)中心市場(chǎng)將達(dá)到到100.9億美元。JLL(仲量聯(lián)行)預(yù)計(jì)印度數(shù)據(jù)中心在2022-2024期間年增長(zhǎng)率高達(dá)34%。近幾年印度公有云市場(chǎng)快速增長(zhǎng),預(yù)計(jì)2025年將達(dá)到108億美元規(guī)模,微軟去年在印度啟動(dòng)第4個(gè)數(shù)據(jù)中心。
美國(guó)以外的東南亞、印度、南美和非洲都有很好的發(fā)展空間,西班牙成為歐洲的熱土,海纜已經(jīng)成為連接各大洲和不同國(guó)家重要網(wǎng)絡(luò)基礎(chǔ)設(shè)施。從經(jīng)濟(jì)體量、增長(zhǎng)速度、人口數(shù)量和網(wǎng)絡(luò)發(fā)展水平看,東南亞和印度的潛力巨大,將成為今后數(shù)據(jù)中心運(yùn)營(yíng)商和互聯(lián)網(wǎng)巨頭布局和競(jìng)爭(zhēng)的主戰(zhàn)場(chǎng)。
六、人才和人文
2022年下半年開(kāi)始,以AWS、谷歌、Meta和Twitter為代表的科技巨頭紛紛宣布裁員計(jì)劃,其中Meta將有近11000名員工失去工作,而Twitter在被收購(gòu)后,解雇一半多員工。
而面臨各種壓力,數(shù)據(jù)中心從業(yè)人員仍然需要更多有經(jīng)驗(yàn)的專業(yè)人員,不僅僅是暖通和配電的專業(yè)人員,今后懂基礎(chǔ)設(shè)施運(yùn)維并需要有軟件開(kāi)發(fā)能力的人員將成為搶手的人才。目前數(shù)據(jù)中心基礎(chǔ)設(shè)施人員年齡偏大,學(xué)習(xí)和利用IT等能力偏弱,這加劇了今后結(jié)構(gòu)性人才短缺的隱患。今后加大技能培訓(xùn)的同時(shí),學(xué)習(xí)利用云計(jì)算、大數(shù)據(jù)和人工智能來(lái)提升數(shù)據(jù)中心的運(yùn)維水平將是所有從業(yè)人員都需要提升的方向。
歐洲和美國(guó)等地的居民和社團(tuán)組織對(duì)身邊的數(shù)據(jù)中心也越來(lái)越敏感,對(duì)數(shù)據(jù)中心用水對(duì)社區(qū)和城市的影響,促使數(shù)據(jù)中心運(yùn)營(yíng)商對(duì)生物多樣性及環(huán)保等方面加大投入和贊助,通過(guò)各種方式贏得民眾的好感和體現(xiàn)社會(huì)自然責(zé)任感?？拷鐓^(qū)的數(shù)據(jù)中心建筑業(yè)開(kāi)始注重人文效果。
北弗吉尼亞州的居民經(jīng)常抱怨位于勞登縣主要道路兩旁的數(shù)據(jù)中心的外觀過(guò)于沉悶無(wú)趣，Equinix在外墻增加了LED希望照明，晚上對(duì)建筑外立面投射不同顏色的燈光，對(duì)應(yīng)不同的假期、紀(jì)念節(jié)日或季節(jié)，紅白藍(lán)色對(duì)應(yīng)7月6日美國(guó)獨(dú)立日的顏色。
為了節(jié)省土地,海洋與河流是人們一直在尋找的數(shù)據(jù)中心場(chǎng)地,法國(guó)初創(chuàng)公司Denv-R計(jì)劃建設(shè)一個(gè)由再生鋼制成類似雙體船的漂浮式數(shù)據(jù)中心,適合部署在城市河流上,使用被動(dòng)循環(huán)水而不需要泵送冷卻水。還裝有太陽(yáng)能電池板和風(fēng)力渦輪機(jī),設(shè)施規(guī)劃電力容量為200kW。
今后數(shù)據(jù)中心的同行們會(huì)采取更多類似的方式,改善人們對(duì)數(shù)據(jù)中心建筑乃至行業(yè)的印象——我們本來(lái)就是一群有趣的科技人。
