中國(guó)儲(chǔ)能網(wǎng)訊：中國(guó)的智能算力夠不夠用？這是近兩年中國(guó)算力產(chǎn)業(yè)發(fā)展過(guò)程中的重要問(wèn)題。
智能算力需要AI（人工智能）芯片。2023年，算力短缺是業(yè)界共識(shí)；2024年，算力短缺和過(guò)剩兩種矛盾的聲音同時(shí)存在?；卮鹕鲜鰡?wèn)題，首先要確定有多少市場(chǎng)供給。
我們通過(guò)多位供應(yīng)鏈人士了解到，按保守計(jì)算，2024年中國(guó)市場(chǎng)英偉達(dá)H20系列芯片出貨量約為70萬(wàn)枚，某國(guó)產(chǎn)主流AI芯片出貨量約為30萬(wàn)枚。
一種更樂(lè)觀的預(yù)期來(lái)自國(guó)際市場(chǎng)調(diào)研機(jī)構(gòu)SemiAnalysis，該機(jī)構(gòu)今年7月預(yù)估，2024年中國(guó)市場(chǎng)英偉達(dá)H20系列芯片出貨量預(yù)計(jì)超過(guò)100萬(wàn)枚。按一枚H20芯片價(jià)格約1.2萬(wàn)美元算，它將為英偉達(dá)帶來(lái)超過(guò)120億美元收入（按美元、人民幣匯率1∶7.1計(jì)算，約合854億元人民幣）。同期，中國(guó)市場(chǎng)某國(guó)產(chǎn)主流AI芯片出貨量預(yù)計(jì)約為55萬(wàn)枚。但多位供應(yīng)鏈人士認(rèn)為，SemiAnalysis預(yù)估出貨量偏樂(lè)觀，高于實(shí)際情況。
目前中國(guó)市場(chǎng)AI芯片主要來(lái)自英偉達(dá)和華為。除此之外，少數(shù)科技公司、創(chuàng)業(yè)公司也在自研AI芯片，部分經(jīng)銷商還在通過(guò)多種渠道采購(gòu)英偉達(dá)AI芯片。
也就是說(shuō)，2024年中國(guó)市場(chǎng)先進(jìn)AI芯片（可同時(shí)用于大模型訓(xùn)練和推理的AI芯片。如英偉達(dá)的A100/A800、H100/H800、B100、H20等，華為昇騰910系列）出貨量在100萬(wàn)枚以上。只看絕對(duì)數(shù)量，這個(gè)規(guī)模并不小。那么，算力究竟是短缺還是過(guò)剩？
我們從多個(gè)科技云廠商、部分電信運(yùn)營(yíng)商人士處了解到，“短期夠用，長(zhǎng)期短缺”是他們的共同判斷。短期來(lái)看，現(xiàn)有智能算力能滿足基本業(yè)務(wù)需求，局部甚至存在過(guò)?，F(xiàn)象。但長(zhǎng)期來(lái)看，AI應(yīng)用落地需要更多算力。因此，各家采取了“適度超前投資”的策略，仍在大規(guī)模采購(gòu)算力。
一位科技企業(yè)戰(zhàn)略規(guī)劃人士的觀點(diǎn)是，目前算力市場(chǎng)供需總體平衡，但局部不均。大型科技公司（華為、阿里、字節(jié)跳動(dòng)、騰訊、百度等）、電信運(yùn)營(yíng)商（中國(guó)移動(dòng)、中國(guó)電信、中國(guó)聯(lián)通）即使算力夠用，也會(huì)堅(jiān)持超前投資。2023年跟風(fēng)囤芯片的中小服務(wù)商正在降價(jià)出售閑置算力，這里出現(xiàn)了“局部過(guò)?！薄?
誰(shuí)在投資算力？
中國(guó)市場(chǎng)上，目前在大規(guī)模采購(gòu)智能算力的主力軍是大型科技公司（華為、阿里、字節(jié)跳動(dòng)、騰訊、百度等）、電信運(yùn)營(yíng)商（中國(guó)移動(dòng)、中國(guó)電信、中國(guó)聯(lián)通）、各地方城市及央國(guó)企。
大型科技公司擁有云計(jì)算業(yè)務(wù)，需要大規(guī)模投資智能算力——也就是采購(gòu)芯片和服務(wù)器，租賃土地建設(shè)數(shù)據(jù)中心。這些算力投資會(huì)在科技公司的資本支出中有所體現(xiàn)。
圖1：阿里、騰訊、百度資本支出（2021年一季度—2024二季度）
單位：億元
注：1.阿里自然年與財(cái)年不一致，數(shù)據(jù)已按照自然年進(jìn)行調(diào)整；2.科技公司資本支出通常用于采購(gòu)芯片、服務(wù)器，租賃土地建設(shè)數(shù)據(jù)中心；3.科技公司的資本支出與算力投資直接相關(guān)
資料來(lái)源｜公司財(cái)報(bào)，《財(cái)經(jīng)》整理 制圖｜于宗文
幾個(gè)擁有云計(jì)算業(yè)務(wù)的科技公司資本支出都在快速增長(zhǎng)。華為、字節(jié)跳動(dòng)不是上市公司，未披露相關(guān)數(shù)據(jù)。2024年上半年，阿里、騰訊、百度的資本支出總和高達(dá)504.4億元，同比增長(zhǎng)121.6%。這一增速是2018年以來(lái)的最高點(diǎn)，且增長(zhǎng)趨勢(shì)短期不會(huì)改變。
阿里2025財(cái)年一季度（即2024年二季度）財(cái)報(bào)電話會(huì)中，管理層披露稱，未來(lái)幾個(gè)季度預(yù)計(jì)將繼續(xù)保持高速資本支出。今年9月的云棲大會(huì)上，阿里集團(tuán)CEO（首席執(zhí)行官）、阿里云智能董事長(zhǎng)兼CEO吳泳銘表達(dá)了阿里繼續(xù)加碼AI算力投入的決心。他直言，阿里云正在少有的高強(qiáng)度投入AI技術(shù)研發(fā)和基礎(chǔ)設(shè)施建設(shè)。
如果延續(xù)上半年的增長(zhǎng)趨勢(shì)，2024年阿里、騰訊、百度資本支出總和將超過(guò)1300億元。巨額資本支出讓大型科技公司擁有了相對(duì)充足的算力儲(chǔ)備。我們的綜合調(diào)研結(jié)果顯示，目前阿里、字節(jié)跳動(dòng)已具備10萬(wàn)卡級(jí)別的算力儲(chǔ)備。
圖2：阿里、騰訊、百度資本支出總和、增速（2018年一季度-2024年二季度）
單位：億元
注：1.阿里自然年與財(cái)年不一致，數(shù)據(jù)已按照自然年進(jìn)行調(diào)整；2.科技公司資本支出通常用于采購(gòu)芯片和服務(wù)器，租賃土地建設(shè)數(shù)據(jù)中心。這與算力投資直接相關(guān)
資料來(lái)源｜公司財(cái)報(bào)，《財(cái)經(jīng)》整理
中國(guó)電信運(yùn)營(yíng)商的算力投資不遜色于大型科技公司。尤其是2023年之后，電信運(yùn)營(yíng)商資本支出重點(diǎn)已從5G轉(zhuǎn)向算力。
中國(guó)移動(dòng)、中國(guó)電信均在2023年報(bào)中披露了2024年的算力投資計(jì)劃，不過(guò)中國(guó)聯(lián)通未披露算力投資情況。中國(guó)移動(dòng)、中國(guó)電信2024年財(cái)報(bào)顯示，兩者當(dāng)年算力相關(guān)投資計(jì)劃分別是475億元、370億元。兩者合計(jì)845億元，同比增長(zhǎng)13%。
圖3：電信運(yùn)營(yíng)商算力相關(guān)資本支出（2022年-2024年）
單位：億元
注：1.為統(tǒng)計(jì)方便，中國(guó)電信資本支出選取口徑為產(chǎn)業(yè)數(shù)字化開(kāi)支；2.中國(guó)電信的算力資本支出囊括在產(chǎn)業(yè)數(shù)字化開(kāi)支中，未單獨(dú)披露；3.中國(guó)移動(dòng)、中國(guó)電信2024年的資本支出均為財(cái)報(bào)披露的計(jì)劃數(shù)據(jù)
資料來(lái)源｜公司財(cái)報(bào)，《財(cái)經(jīng)》整理
圖4：中國(guó)移動(dòng)2024年兩大智算公開(kāi)招標(biāo)案
注：1.中國(guó)移動(dòng)公開(kāi)招標(biāo)案中披露了服務(wù)器采購(gòu)臺(tái)數(shù)和標(biāo)包金額；2.中標(biāo)方為昆侖、華鯤振宇、寶德、百信、長(zhǎng)江、鯤泰、湘江鯤鵬、四川虹信軟件等昇騰經(jīng)銷商
資料來(lái)源｜公司財(cái)報(bào)，《財(cái)經(jīng)》整理
中國(guó)移動(dòng)、中國(guó)電信作為央國(guó)企，承擔(dān)著國(guó)產(chǎn)智算采購(gòu)的重要任務(wù)。尤其是中國(guó)移動(dòng)，為國(guó)產(chǎn)智算采購(gòu)付出了巨額支出。2024年中國(guó)移動(dòng)公開(kāi)發(fā)布的兩個(gè)國(guó)產(chǎn)智算采購(gòu)招標(biāo)標(biāo)案（《2024年至2025年新型智算中心采購(gòu)》《2023年-2024年新型智算中心（試驗(yàn)網(wǎng)）采購(gòu)（標(biāo)包12）》）總金額為216億元，總計(jì)超過(guò)9200臺(tái)昇騰AI服務(wù)器。一臺(tái)AI服務(wù)器通常會(huì)搭載4卡-8卡。這意味著中國(guó)移動(dòng)的昇騰AI芯片公開(kāi)招標(biāo)采購(gòu)規(guī)模至少在3.6萬(wàn)卡-7.4萬(wàn)卡之間。
今年上半年，中國(guó)移動(dòng)董事長(zhǎng)楊杰、中國(guó)電信董事長(zhǎng)柯瑞文都曾公開(kāi)表示，要建成一批萬(wàn)卡級(jí)智算中心。事實(shí)上，中國(guó)移動(dòng)、中國(guó)電信已建成多個(gè)萬(wàn)卡智算中心，且以國(guó)產(chǎn)算力為主。中國(guó)移動(dòng)官網(wǎng)顯示，該公司已在呼和浩特、哈爾濱分別建立了萬(wàn)卡智算中心，呼和浩特智算中心有超過(guò)2萬(wàn)卡，哈爾濱智算中心有超過(guò)1.8萬(wàn)卡。中國(guó)電信已經(jīng)在上海臨港智算園區(qū)投產(chǎn)1.5萬(wàn)卡公共智能算力中心，中國(guó)電信的京津冀智能算力中心也具備超過(guò)1萬(wàn)卡。
各地方城市及央國(guó)企也是重要的算力投資方。其投資形式通常是，政府牽頭設(shè)立專項(xiàng)資金，地方央國(guó)企發(fā)布招投標(biāo)公告，再由第三方企業(yè)參與建設(shè)智算中心。
中國(guó)信通院一份截至今年5月的研究數(shù)據(jù)顯示，中國(guó)建設(shè)和規(guī)劃中的智算中心共有185座，總算力為272 EFLOPS（算力單位，EFLOPS是ExaFLOPS縮寫(xiě)，指每秒能執(zhí)行10的18次方次浮點(diǎn)運(yùn)算），建成運(yùn)營(yíng)的有104 EFLOPS。其中全國(guó)智算中心以云服務(wù)形式對(duì)外提供的比例是23%。
我們不完全統(tǒng)計(jì)發(fā)現(xiàn)，截至2024年10月16日，今年以來(lái)各地方城市上馬的智算中心招投標(biāo)項(xiàng)目至少在30個(gè)以上，涉及金額總和至少超過(guò)275億元。
注：1.統(tǒng)計(jì)時(shí)間為2024年1月-2024年10月16日，以上為不完全統(tǒng)計(jì)；2.投資金額包含服務(wù)器采購(gòu)、智算中心建設(shè)等軟硬件及土建投入
資料來(lái)源｜公司財(cái)報(bào)，《財(cái)經(jīng)》整理
相比2023年，大型科技公司、電信運(yùn)營(yíng)商、各地方城市和央國(guó)企在2024年算力投資熱度只增不減。英偉達(dá)中國(guó)市場(chǎng)收入也可以側(cè)面反映這一趨勢(shì)。2024年上半年英偉達(dá)在中國(guó)市場(chǎng)營(yíng)收61.6億美元（按美元、人民幣匯率1∶7.1計(jì)算，約合437億元人民幣），比去年同期增長(zhǎng)了42.3%。
這還是美國(guó)商務(wù)部工業(yè)安全局2023年10月出臺(tái)“出口管制規(guī)則”后的結(jié)果。當(dāng)時(shí)，美國(guó)向中國(guó)斷供了英偉達(dá)的A100/A800、H100/H800等高性能AI芯片。為遵循管制規(guī)則，英偉達(dá)后續(xù)向中國(guó)推出了“閹割版”的H20芯片。該芯片帶寬、性能均有縮水，單卡理論性能僅為H100的20%左右。
“出口管制規(guī)則”雖然存在，但英偉達(dá)并未放棄中國(guó)市場(chǎng)的巨大需求，而是通過(guò)合規(guī)方式向中國(guó)市場(chǎng)銷售了更多“閹割版”AI芯片。英偉達(dá)在中國(guó)市場(chǎng)收入還在增長(zhǎng)。多位供應(yīng)鏈人士對(duì)我們表示，2024年英偉達(dá)H20系列芯片在中國(guó)市場(chǎng)出貨量約為70萬(wàn)枚。
短期夠用，長(zhǎng)期短缺
算力投資不斷增長(zhǎng)。那么2024年，中國(guó)的智能算力究竟是短缺還是過(guò)剩？“短期夠用，長(zhǎng)期短缺”是主流判斷。
AI芯片用途主要分成兩部分：模型訓(xùn)練、應(yīng)用推理。簡(jiǎn)單理解，前者是訓(xùn)練AI，后者是使用AI。它的需求結(jié)構(gòu)正在變化。國(guó)際市場(chǎng)調(diào)研機(jī)構(gòu)IDC在2023年曾預(yù)測(cè)，中國(guó)智能算力年復(fù)合增速33.9%。2022年-2027年，智能算力內(nèi)部，訓(xùn)練算力占比會(huì)下滑到27.4%，推理算力占比將上升到72.6%。
2023年出現(xiàn)了算力短缺現(xiàn)象，成因是大模型的興起，“百模大戰(zhàn)”導(dǎo)致訓(xùn)練算力需求激增。美國(guó)商務(wù)部的“出口管制條例”又限制了算力供應(yīng)，各個(gè)企業(yè)“恐慌式”搶購(gòu)加劇了算力的供不應(yīng)求。一位頭部科技公司戰(zhàn)略規(guī)劃人士今年8月對(duì)我們提到，他所在企業(yè)2023年曾以高于英偉達(dá)官方定價(jià)1.5倍-2倍的價(jià)格“掃貨”，搶購(gòu)市面上存在的A100/A800、H100/H800芯片，其中甚至包括部分中小經(jīng)銷商囤積的散貨。
2024年，算力逐漸夠用了，各家算力越囤越多，模型訓(xùn)練需求卻在放緩，應(yīng)用推理需求尚處爆發(fā)前夜。此時(shí)出現(xiàn)了一個(gè)青黃不接的“空檔期”。部分科技公司技術(shù)人士的判斷是，這個(gè)“空檔期”可能會(huì)持續(xù)到2025年上半年，但總體不會(huì)太長(zhǎng)。
目前，阿里、字節(jié)跳動(dòng)、百度等國(guó)內(nèi)科技公司的旗艦?zāi)Ｐ投家呀咏麬I創(chuàng)業(yè)公司OpenAI旗下大模型GPT-4的性能。GPT-4系列之后的下一代模型尚未真正出現(xiàn)，追趕GPT-4的任務(wù)告一段落。因此，國(guó)內(nèi)各大科技公司暫時(shí)放緩了模型訓(xùn)練的步伐。一位科技公司云廠商高管今年9月對(duì)我們表示，他所在云平臺(tái)的訓(xùn)練算力需求增長(zhǎng)平緩，推理算力甚至需求已超過(guò)訓(xùn)練算力需求。
決定“空檔期”有多長(zhǎng)的因素有兩點(diǎn)：其一，下一代模型訓(xùn)練的競(jìng)賽何時(shí)開(kāi)啟；其二，推理算力增速有多快——這是AI應(yīng)用普及滲透速度決定的。
過(guò)去兩年，“堆算力”是模型性能提升的主要路徑。因?yàn)榇竽Ｐ偷男阅芴嵘裱鳶caling Law（AI創(chuàng)業(yè)公司OpenAI在2020年提出的定律，直譯為“縮放定律”）——模型性能主要與計(jì)算量、模型參數(shù)量和訓(xùn)練數(shù)據(jù)量三者大小相關(guān)。
英偉達(dá)還在為下一代模型提供更強(qiáng)性能的AI芯片，如B100系列。今年8月，英偉達(dá)管理層在2024年二季度財(cái)報(bào)電話會(huì)中表示，下一代基礎(chǔ)大模型將需要10倍-20倍的計(jì)算能力來(lái)訓(xùn)練更多數(shù)據(jù)。
圖5：英偉達(dá)全球各地區(qū)營(yíng)收規(guī)模（2022年一季度-2024年二季度）
單位：美元
注：1.英偉達(dá)自然年與財(cái)年不一致，數(shù)據(jù)已按照自然年進(jìn)行調(diào)整；2.為方便統(tǒng)計(jì)，圖表中把英偉達(dá)中國(guó)大陸地區(qū)、中國(guó)臺(tái)灣地區(qū)、美國(guó)以外的收入合計(jì)為“其他”；3.英偉達(dá)財(cái)報(bào)統(tǒng)計(jì)中的中國(guó)大陸地區(qū)的收入包含了中國(guó)香港
資料來(lái)源｜公司財(cái)報(bào)，《財(cái)經(jīng)》整理
今年9月，多位云廠商人士對(duì)我們表示，2023年1萬(wàn)枚AI芯片是訓(xùn)練基礎(chǔ)大模型的入場(chǎng)券。2024年以后，訓(xùn)練下一代基礎(chǔ)大模型有朝著10萬(wàn)枚AI芯片演進(jìn)的趨勢(shì)，但目前國(guó)際市場(chǎng)尚無(wú)成功案例。2025年-2026年，如果下一代基礎(chǔ)大模型出現(xiàn)，國(guó)內(nèi)廠商追趕它所需要的訓(xùn)練算力也會(huì)指數(shù)級(jí)增長(zhǎng)。
讓很多從業(yè)者做出智能算力“長(zhǎng)期短缺”這一判斷的主要原因是，隨著AI應(yīng)用逐漸滲透，推理算力需求逐步增長(zhǎng)是個(gè)確定趨勢(shì)。
圖6：IDC中國(guó)智能算力規(guī)模及預(yù)測(cè)（2020年-2027年）
單位：EFLOPS（算力單位，每秒浮點(diǎn)運(yùn)算次數(shù)）
注：1.FP64（雙精度）、FP16（半精度）均為算力的計(jì)算方式；2.智能算力、通用算力的EFLOPS規(guī)模無(wú)法直接對(duì)比；3.2027年為預(yù)測(cè)數(shù)據(jù)
資料來(lái)源｜國(guó)際市場(chǎng)調(diào)研機(jī)構(gòu)IDC2023年12月
目前，訓(xùn)練算力仍占據(jù)主流。訓(xùn)練算力和推理算力的總占比為6∶4。今年8月，英偉達(dá)管理層在2024年二季度財(cái)報(bào)電話會(huì)中表示，過(guò)去四個(gè)季度中，推理算力占英偉達(dá)數(shù)據(jù)中心收入約為40%。但在未來(lái)，推理算力的收入將持續(xù)提升。
今年下半年，推理算力的爆發(fā)式增長(zhǎng)已初見(jiàn)端倪。Token是AI推理算力的計(jì)量單位，就像電力用“度”計(jì)費(fèi)、流量用“G”計(jì)費(fèi)。一個(gè)Token可以是單詞、標(biāo)點(diǎn)、數(shù)字、符號(hào)等。百度財(cái)報(bào)披露，旗下文心大模型日均Token消耗量從今年5月的2500億增長(zhǎng)3倍到今年8月的1萬(wàn)億。字節(jié)跳動(dòng)近期公布，旗下豆包大模型日均Token消耗量從今年5月的1200億增長(zhǎng)10倍到了今年9月的1.3萬(wàn)億。
圖7：百度、字節(jié)跳動(dòng)旗下大模型日均Token消耗量
單位：億/日均
注：1.百度數(shù)據(jù)來(lái)自百度財(cái)報(bào)披露；2.字節(jié)跳動(dòng)數(shù)據(jù)來(lái)自字節(jié)跳動(dòng)發(fā)布會(huì)披露
資料來(lái)源｜公司財(cái)報(bào)、發(fā)布會(huì)披露，《財(cái)經(jīng)》整理
今年9月字節(jié)跳動(dòng)火山引擎智能算法負(fù)責(zé)人吳迪對(duì)我們表示，字節(jié)跳動(dòng)綜合考慮算力資源儲(chǔ)備、市場(chǎng)未來(lái)用量、模型成本下降等因素判斷，2027年豆包每天Token消耗量會(huì)超過(guò)100萬(wàn)億，將是現(xiàn)在的100倍以上。
隨著AI應(yīng)用滲透率不斷提升，推理算力消耗量還會(huì)持續(xù)提升。按照IDC預(yù)測(cè)結(jié)果，2027年推理算力在智能算力大盤中的占比甚至?xí)^(guò)70%。
“算力長(zhǎng)期短缺”判斷的另一個(gè)潛在考量是：美國(guó)對(duì)中國(guó)的先進(jìn)AI芯片出口管制短期不會(huì)取消，管制范圍甚至隨時(shí)可能會(huì)擴(kuò)大。
一位華為人士今年9月對(duì)我們表示，英偉達(dá)H20芯片目前雖然仍對(duì)中國(guó)銷售，但要做好最壞的思想準(zhǔn)備。因?yàn)楣?yīng)鏈隨時(shí)可能會(huì)被切斷。華為昇騰910系列芯片目前使用的高帶寬內(nèi)存（HBM）來(lái)自韓國(guó)企業(yè)SK海力士。目前，國(guó)內(nèi)缺少能用好用的HBM替代品。極端情況下，如果SK海力士的HBM供應(yīng)鏈條被切斷，昇騰910的產(chǎn)能也會(huì)受到影響。
AI芯片是易耗品，英偉達(dá)AI芯片的折舊年限一般是三年。也就是說(shuō)，囤積的AI芯片如果無(wú)法得到持續(xù)補(bǔ)充，遲早會(huì)有耗盡的一天。基于上述考慮，中國(guó)企業(yè)需要未雨綢繆——這也是主要的大型科技公司仍然堅(jiān)持“適度超前投資”策略的核心原因。
用好閑置算力
不可忽視的情況是，中國(guó)市場(chǎng)部分算力供應(yīng)商出現(xiàn)了智能算力閑置。我們了解到，電信運(yùn)營(yíng)商、部分地方智算中心存在閑置的算力。
有科技公司戰(zhàn)略規(guī)劃人士對(duì)我們表示，局部的算力閑置，不能等同于“算力過(guò)剩”。很多企業(yè)采取了“適度超前投資”策略，因此智能算力少量閑置是正常的。國(guó)產(chǎn)AI芯片的閑置情況更特殊。因?yàn)閲?guó)產(chǎn)AI芯片目前只做到了“能用”，離“好用”還有一段距離。盲目使用只會(huì)造成算力浪費(fèi)。企業(yè)需要通過(guò)各種技術(shù)手段做適配，最大程度提升國(guó)產(chǎn)AI芯片的使用效率。
如何用好現(xiàn)有的智能算力？在硬件受限的情況下，可以通過(guò)軟件手段壓榨出AI芯片的算力效率。使用云服務(wù)形式向社會(huì)提供算力，在訓(xùn)練、推理環(huán)節(jié)提高AI芯片利用率，這都可以有效提升算力效率。
中國(guó)信通院截至今年5月的研究數(shù)據(jù)顯示，中國(guó)建設(shè)和規(guī)劃中的智算中心共有185座，全國(guó)智算中心以云服務(wù)形式對(duì)外提供的比例是23%。我們了解到，公共云合理利用率為40%-60%，政務(wù)云合理利用率區(qū)間為25%-40%，但私有化算力資源使用率一般不超過(guò)5%。提高云服務(wù)的算力輸出比例，可以有效提升智能算力使用效率。阿里云、華為云已向多個(gè)政策部門提出了這一建議。
模型訓(xùn)練通常由千卡、萬(wàn)卡集群完成。單卡故障會(huì)影響集群運(yùn)作。集群越大、芯片越多，故障率就越高。百度系統(tǒng)架構(gòu)師、百度智能云AI計(jì)算部負(fù)責(zé)人王雁鵬今年9月在一場(chǎng)小規(guī)?；顒?dòng)中提到，有效AI算力=單卡算力有效率×并行計(jì)算有效率×有效訓(xùn)練時(shí)間。極端情況下，模型訓(xùn)練會(huì)浪費(fèi)50%的算力資源。他建議，企業(yè)可以在自有數(shù)據(jù)中心部署百度百舸計(jì)算平臺(tái)等調(diào)度工具提高訓(xùn)練算力使用效率。
應(yīng)用推理是未來(lái)的算力消耗大頭，優(yōu)化模型結(jié)構(gòu)同樣能節(jié)省算力。一位云廠商大模型業(yè)務(wù)核心負(fù)責(zé)人今年8月對(duì)我們表示，核心原則是在OpenAI提出的Scaling Law原則下提升數(shù)據(jù)質(zhì)量、數(shù)量，適當(dāng)降低模型參數(shù)，還可以采用MoE（通過(guò)混合多個(gè)專業(yè)模型，獲得更好性能）架構(gòu)提升模型性能、降低推理成本。這兩種策略都是在保證模型效果的前提下，減少算力消耗。
走過(guò)2023年的智能算力短缺后，2024年中國(guó)智能算力正處于“短期夠用，長(zhǎng)期短缺”的狀態(tài)。下一階段，算力供需關(guān)系仍將劇變，可以采取適度超前投資、提高算力效率的策略應(yīng)對(duì)市場(chǎng)變化。
