中國儲能網(wǎng)訊：10月以來，全球數(shù)據(jù)中心建設布局熱度不減，尤其我國大批智算中心建設正全面提速，很多項目都陸續(xù)進入交付階段。然而，隨著生成式AI應用的持續(xù)發(fā)展，在進行智算中心規(guī)劃和建設時，很多重要新變化值得引起行業(yè)關注，涉及智算中心的設施工程、電力、制冷等諸多廠商。
其中，兩個重大變化值得整個IDC產(chǎn)業(yè)關注：一個是算力密度增加帶來的設計、設備等一系列要求變化，主要涉及包括GPU的利用率以及總擁有成本TCO等問題。一個是電力需求引發(fā)的整體布局、設計、設備的要求變化，主要涉及包括工作負載以及故障等問題。
01.Meta拆了在建的數(shù)據(jù)中心
2022年12月，Meta對外宣布已經(jīng)停建了兩個位于丹麥歐登塞的數(shù)據(jù)中心，Meta這一動作的主要原因是舊設計（下圖左側）是針對低功率密度 (Power Density)的方案，無法滿足AI的全新需求，之后Meta用全新AI就緒設計（AI-Ready design）（下圖右側）替代了原有方案，這一舉措對全球數(shù)據(jù)中心行業(yè)引發(fā)著深遠影響。
【IDC圈注】“AI就緒設計（AI-Ready design）”指的是為應對人工智能應用而特別優(yōu)化和配置的數(shù)據(jù)中心設計。這類設計通過采用最新的硬件和電力系統(tǒng)來支持AI的高功率和高密度計算需求。例如，它們集成了高效的電力傳輸、冷卻系統(tǒng)和計算密度，能夠支持AI訓練和推理任務所需的強大計算能力。AI就緒設計通常包括更高的功率密度、先進的冷卻技術（如液冷），并針對GPU和AI工作負載進行優(yōu)化，以實現(xiàn)更高的性能和能效。這樣，數(shù)據(jù)中心能夠更好地滿足AI應用的性能需求，并降低整體的總擁有成本（TCO）。
Meta原有的“H"型舊設計，對建筑整體建設部署成本較高：通過計算發(fā)電機組數(shù)量比較會發(fā)現(xiàn)，其"H"型建筑最多配備36個發(fā)電機組，但Google使用更大容量的發(fā)電機僅需34個，而且其單體建筑面積是Google建筑的一倍多?？紤]到規(guī)模和結構的復雜性，建設周期差異很大："H" 建筑從開工到竣工需要約兩年時間，而Google的建筑僅需6-7個月。
然而，以上都不是做出設計改變的根本動因，更重要的是功率密度：Meta原有的“H"型建筑每平方英尺千瓦數(shù)不足Google數(shù)據(jù)中心的1/3，哪怕"H"建筑在能源效率方面具有顯著優(yōu)勢，依然無法抵消其在生成式AI競爭中的劣勢。因為任何無法提供更高密度液體冷卻能力的數(shù)據(jù)中心，將來都無法為客戶帶來顯著的性能與總擁有成本（TCO）改進，進而導致在生成式AI競爭中落后。
02.算力密度增加帶來“新變”
近年來，數(shù)據(jù)中心的性能演進正逐步適應高功率密度和AI工作負載的需求，但這一過程面臨著技術和經(jīng)濟上的多重挑戰(zhàn)。
首先，高功率密度方面，目前大多數(shù)現(xiàn)有托管數(shù)據(jù)中心都還沒有準備好支持單機架功率密度超過20 KW的需求。盡管預計2024年芯片供應瓶頸將有所緩解，但對于超大規(guī)模企業(yè)和托管服務提供商可能仍然會面臨數(shù)據(jù)中心容量的限制，尤其是在人工智能方面相關因素的準備不足。例如，傳統(tǒng)托管設施中普遍存在的12-15kW功率限制等，都可能會成為建設AI集群數(shù)據(jù)中心理想物理密度的障礙。
一般來說，在新建數(shù)據(jù)中心中部署背板式熱交換器和液冷方案，可以有效解決功率密度問題。但與采用傳統(tǒng)設計方案的已建設數(shù)據(jù)中心進行改造相比，從頭設計融入這些解決方案的新數(shù)據(jù)中心其實更合理。因為改造現(xiàn)有的數(shù)據(jù)中心會存在各種各樣不可預知的問題。比如，可能缺乏足夠的物理空間容納額外的2-3 MW發(fā)電機、不間斷電源（UPS）、開關設備或變壓器等，而且重新鋪設管道以適應液冷所需的冷卻分配單元（CDU）等設備在某些情況下難度也會比較大。Meta也正是因為意識到這一點，所以暫停了原有的數(shù)據(jù)中心項目，轉(zhuǎn)而重新設計專為人工智能工作負載定制的新型數(shù)據(jù)中心。
以NVIDIA的DGX H100服務器為例，為了滿足高功率密度，其部署方式會受到數(shù)據(jù)中心的電力和制冷能力限制有所不同，單個機架內(nèi)可能僅能部署2到3臺DGX H100服務器，并將相鄰機架留空。
此外，隨著越來越多的數(shù)據(jù)中心開始支持人工智能工作負載，通過增加專用氣流設備，單個機架的功率密度有望達到30-40 kW，甚至更高，并且仍采用空氣冷卻的方式。未來采用液冷技術可以減少風扇的用電量，從而降低單機架的能耗約10%，并通過減少或消除對環(huán)境空氣冷卻的依賴，使電力使用效率（PUE）降低 0.2-0.3。當然，這對大多數(shù)數(shù)據(jù)中心來說也是最后一波顯著的PUE優(yōu)化空間。
更值得關注的是，AI訓練和推理對數(shù)據(jù)中心的工作負載有著獨特的要求，這與現(xiàn)有數(shù)據(jù)中心中部署的典型硬件有很大不同。
AI訓練工作負載非常耗電，AI硬件的運行功率通常接近其熱設計功率 (TDP)，每臺AI 服務器現(xiàn)在都超過了10KW。再考慮到AI訓練對延遲不敏感，以及對靠近人口中心重要性的降低，這意味著與傳統(tǒng)工作負載相比，對于AI訓練來說，大量廉價電力的可用性（未來獲得任何電網(wǎng)供應的可能性）對于工作負載而言具有更高的相對重要性。而對于AI推理來說，最終將會產(chǎn)生比訓練更大的工作負載，總體規(guī)模將是巨大的，但不同于訓練，推理可以是相當分布式的，芯片并不需要集中放置。
03.電力需求提升引發(fā)“新變”
AI訓練和推理的巨大需求正在成為數(shù)據(jù)中心規(guī)劃建設諸多變化的主要驅(qū)動力，使得電力供應緊張加劇，更重要的是電力需求提升將正在導致電力或冷卻系統(tǒng)問題頻發(fā)，進而持續(xù)影響著整個產(chǎn)業(yè)格局。
電力需求有多大？
一個包含20,840個Nvidia H100集群的數(shù)據(jù)中心需要約25.9MW 的核心IT功率容量。而目前，整個數(shù)據(jù)中心行業(yè)正在建設容量更高的100,000個H100 集群和千兆瓦級 (Gigawatt) 集群，數(shù)據(jù)中心基礎設施的供電能力需求還將繼續(xù)飆升。
Source: SemiAnalysis Datacenter Model
數(shù)據(jù)中心的電力挑戰(zhàn)
以Nvidia為例，其GB200系列的高功率需求（每個機架超過 130kW）與以往的數(shù)據(jù)中心設計截然不同，這也就導致當前新建數(shù)據(jù)中心（智算中心）在電力系統(tǒng)方面要格外重視。
未來，任何數(shù)據(jù)中心的電力或冷卻系統(tǒng)問題都可能導致運營中斷，進而帶來巨大的收入損失和聲譽損害。這對于云服務提供商（CSP，如 Azure 和 AWS）以及托管服務提供商（如托管數(shù)據(jù)中心房地產(chǎn)）尤為重要。確保高正常運行時間（Uptime）是確保收入的關鍵，這很大程度上依賴于電力與冷卻系統(tǒng)的可靠性。盡管電氣故障相對更常見，但通常其影響范圍較小，而冷卻系統(tǒng)故障的破壞性往往更大。
從數(shù)據(jù)中心和電力流角度來看，現(xiàn)代數(shù)據(jù)中心正在通過模塊化方式構建，一座數(shù)據(jù)中心通常被分解為多個機房(Data Halls,藍色矩形)，每棟數(shù)據(jù)中心建筑(約25萬平方英尺)的關鍵IT容量(Critical IT capacity)為48MW，每棟建筑分為五個機房，即每個機房9.6MW。
Source: Google Earth, SemiAnalysis
在一個機房內(nèi)有多個"Pod",每個Pod都有自己專用的一組電氣設備：發(fā)電機(Generator,橙色矩形)、變壓器(Transformer,綠色矩形)、不間斷電源(UPS)和開關設備(Switchgear)。在上圖中，可以看到每個機房有四個發(fā)電機和變壓器。還有四個Pod，這也意味著四個低壓配電板(Switchboards)和八個UPS系統(tǒng)（假設2N配電冗余)。
Source: Legrand
機房通常劃分為Pod以實現(xiàn)模塊化和標準化的設計，主要有以下兩個原因：
1. 模塊化：設施可以根據(jù)負載需求逐步擴展，以實現(xiàn)快速適應高負載的能力。
2. 標準化：Pod的設計使其與標準化的電氣設備相匹配，這些設備在市場上更易于采購且成本較低，避免了訂制設備的高昂價格。
以Nvidia的下一代Blackwell 數(shù)據(jù)中心設計為例，在新的架構中，一個通道甚至一整排機架都將作為機房中的新“Pod”。
而在電力傳輸架構中，每個機架需要兩個(NVL36)或四個(NVL72) 33kW電源架，考慮到空間和密度限制，不太可能使用機架內(nèi)BBU(Battery Backup Unit，電池備份單元)，這意味著中央UPS依然是必需的。
因此，電力需求的大幅增長將導致供應商的供貨量顯著提升，這很可能進一步加劇供應鏈緊張。
模塊化UPS
傳統(tǒng)UPS是數(shù)據(jù)中心用電效率"殺手"，導致數(shù)據(jù)中心PUE居高不下。而現(xiàn)代UPS系統(tǒng)大多采用模塊化設計：不再使用單一的大型設備，而是將其拆分為若干可堆疊、并聯(lián)工作的小型"電力模塊"。以Vertiv最新產(chǎn)品為例，單個電力模塊的容量為200kVA或 400kVA，模塊化UPS產(chǎn)品可在單機柜內(nèi)集成多達10個電力模塊，多機柜并聯(lián)可進一步擴容，單系統(tǒng)最大容量可達27MW。此外，現(xiàn)代模塊化UPS采取了多項節(jié)能設計。比如Vertiv的產(chǎn)品支持"變頻節(jié)能模式"(VFD mode)，可繞過變流器，將效率提升至99%以上。但這種模式下切換時間可能延長數(shù)毫秒，存在瞬時斷電風險。
Source: Vertiv
此外，超大規(guī)模數(shù)據(jù)中心通常采用4N3R (四套可用設備對應正常運行所需的三套)或 N+2C (也稱為"Catcher") 等方案，以提高UPS負載利用率(更高效)，并降低每兆瓦的資本支出 (CapEx)。
在Catcher方案中，沒有配置兩個滿載能力的UPS系統(tǒng) (如下例中的 2*3MW)，而是采用N+1設計，包含多個較小的UPS (3*1MW)和一個冗余單元。當出現(xiàn)故障時，我們使用靜態(tài)轉(zhuǎn)換開關 (Static Transfer Switches，STS )將負載瞬間從一個UPS切換到另一個。STS比自動轉(zhuǎn)換開關(ATS)快得多，因為它們依靠電力電子元件而非機械部件。在4N3R方案中，我們使用四套獨立的配電系統(tǒng)，從配電一直到背板 (即從電源線一直到發(fā)電機和變壓器)，其中僅需三套即可保證運行。
Source: SOCOMEC
OCP機架與電池備份
值得關注的是，超大規(guī)模企業(yè)往往會突破常規(guī)，另辟蹊徑。比如Meta十年前推出的OCP(Open Compute Project)開放計算機架就是個典型案例。在傳統(tǒng)機架設計中，服務器通過配置在機柜內(nèi)的PDU獲得交流市電，再經(jīng)服務器內(nèi)置的整流器轉(zhuǎn)換為直流。而OCP 的思路是：不如集中配置一個功能強大的電源架(Power Shelf)，直接輸出直流電，再通過bus bar統(tǒng)一配送到各服務器，從而省去每臺服務器配備AC/DC轉(zhuǎn)換器的重復投入。
此外，OCP電源架還可集成BBU，相當于一個"微型 UPS"，可在市電斷供時持續(xù)輸出直流電幾分鐘，保障服務器安全關機。由于電源架位于機柜內(nèi)部，所以BBU的直流電可就近輸送給服務器，免去了傳統(tǒng)UPS系統(tǒng)中兩次AC/DC的轉(zhuǎn)換損耗。而機房由于不再需要集中的A、B雙路UPS，所需電池容量也減少了一半。為進一步降低布線損耗，Google在此基礎上提出了48V直流供電方案。
當然，在機柜內(nèi)大規(guī)模部署鋰電池，對防火、環(huán)控等配套設施提出了更高要求。傳統(tǒng)UPS電池多集中布置在獨立的電池室內(nèi)，易于統(tǒng)一管理，這一點OCP設計還難以企及。
Source: Schneider Electric
柴油發(fā)電機的前景與變化
與此同時，隨著AI的快速發(fā)展超大規(guī)模數(shù)據(jù)中心正迅速擴展，并努力縮短數(shù)據(jù)中心的建設周期。柴油發(fā)電機也因此面臨挑戰(zhàn)，尤其是因其噪音和污染物排放而受到的許可限制。
Source: SemiAnalysis
實時圖像分析顯示，Meta正考慮完全繞過發(fā)電機。而Microsoft的超大型數(shù)據(jù)中心將只使用部分發(fā)電機負載，X.AI在孟菲斯的項目也采用了電池儲能系統(tǒng)，發(fā)電機作為現(xiàn)場電源的備選，這種變革顯示出備用電源正在向更環(huán)保的電池儲能解決方案轉(zhuǎn)移。
當然，在當前的超大規(guī)模數(shù)據(jù)中心內(nèi)，發(fā)電機依然是不可或缺的選擇，在超大規(guī)模數(shù)據(jù)中心內(nèi)，備用發(fā)電機的單機容量一般為2~3MW，園區(qū)內(nèi)動輒部署數(shù)十臺發(fā)電機。當前，這些發(fā)電機通常以柴油為燃料，但未來天然氣可能會成為主要的替代選擇。它們的儲油量一般可滿足24~48小時的滿負荷應急供電。盡管柴油發(fā)電的能效更高，但煙氣污染也更嚴重。因此，在環(huán)保要求嚴格的地區(qū)，柴油發(fā)電機往往配備有尾氣處理裝置，造價也更高。
最后，還有一個略微產(chǎn)生影響的變化因素是冗余度 (Redundancy Level)的降低——超大規(guī)模運營商已經(jīng)開始這樣做。在大規(guī)模訓練過程中，由于GPU節(jié)點上的高故障率，訓練框架被迫發(fā)展出了強大的容錯機制，使得現(xiàn)代訓練系統(tǒng)具備了較好的抗故障能力 (Robustness)，這使得數(shù)據(jù)中心端較低的冗余水平變得越來越可以接受。
總之，當前數(shù)據(jù)中心建設與AI技術的發(fā)展密不可分，尤其對于正處于火熱建設中的中國智算中心建設市場來說，快速的市場變化需要強有力的設計和運營合作伙伴，以應對增長的功率密度需求和不斷變化的技術趨勢。供應商之間的合作將推動更高效、更具擴展性的滿足AI的數(shù)據(jù)中心設計，并在競爭激烈的市場中取得領先地位。
