以5G、物聯(lián)網(wǎng)、數(shù)據(jù)中心、人工智能等為代表的新型基礎設施已成為引領數(shù)字經(jīng)濟高質(zhì)量發(fā)展的全新引擎。在數(shù)字經(jīng)濟時代，數(shù)據(jù)是第一生產(chǎn)要素，其存儲、管理、分析和應用對于預測經(jīng)濟形勢、規(guī)劃經(jīng)濟活動至關重要，數(shù)據(jù)的存儲與管理需求推動存儲技術不斷升級：一方面，作為數(shù)據(jù)存儲的底層介質(zhì)，存儲芯片的特性向高性能、低功耗、小尺寸等方向快速發(fā)展；另一方面，以存儲芯片和器件為基礎，結合互聯(lián)協(xié)議與軟件平臺構建的存儲系統(tǒng)，在極致性能、融合擴展和高效管理方面不斷提升，二者共同為新型基礎設施構筑數(shù)據(jù)底座。
作者：中國信息通信研究院泰爾系統(tǒng)實驗室 韓超 李婷婷
數(shù)字化推動我國存儲產(chǎn)業(yè)快速
發(fā)展與技術升級
在數(shù)字化、信息化的浪潮下，全球社會產(chǎn)生的數(shù)據(jù)量快速增長，例如視頻清晰度4K到4K VR，數(shù)據(jù)量將提升6倍以上；L4等級自動駕駛訓練產(chǎn)生數(shù)據(jù)量高達100EB；城市中超過200萬個的攝像頭每天會產(chǎn)生超過80PB的圖片數(shù)據(jù)。我國在數(shù)字經(jīng)濟發(fā)展戰(zhàn)略的引領下，目前已成為全球數(shù)據(jù)產(chǎn)生量最大的國家，并且隨著新型基礎設施為數(shù)字經(jīng)濟注入新的動力，未來數(shù)據(jù)量將進一步增長。根據(jù)IDC預測，從2019年到2025年，全球數(shù)據(jù)量將從45ZB增長至175ZB，其中以圖片、音頻、視頻為主的非結構化數(shù)據(jù)占比將超過80%，我國數(shù)據(jù)量將達到50ZB，在全球占比接近30%。
數(shù)據(jù)量快速增長對存儲系統(tǒng)需求的提高，有力推動了我國存儲產(chǎn)業(yè)的發(fā)展，2017年~2019年我國外部存儲市場平均增速為22.3%，2019年市場規(guī)模達到31億美元，其中以存儲非結構化數(shù)據(jù)為主的第二存儲成為產(chǎn)業(yè)增長的主要著力點，2019年增長高達160%。伴隨新基建帶動數(shù)字經(jīng)濟的繁榮發(fā)展，數(shù)據(jù)價值挖掘與分析利用需求的日益凸顯對存儲系統(tǒng)提出了越來越高的要求：海量非結構化數(shù)據(jù)的存儲對單節(jié)點存儲容量需求上升到PB級別；銀行、電商、高性能計算等場景大量高速的數(shù)據(jù)交互對存儲系統(tǒng)性能要求不斷提升；智慧應用下沉催生的云邊協(xié)同模式離不開高效存儲數(shù)據(jù)管理的支撐。
采用全閃存陣列是存儲系統(tǒng)
性能提升的方向
隨著數(shù)字經(jīng)濟的深入發(fā)展，數(shù)字化應用對存儲系統(tǒng)的性能要求不斷提升。例如銀行和大型電商每天超過1億筆交易，需要核心業(yè)務系統(tǒng)IOPS超過20萬，且時延需要保持在1ms左右；承載數(shù)據(jù)庫、Web應用等業(yè)務的服務器虛擬化在高負載下需要高達5000 IOPS/TB的數(shù)據(jù)吞吐速率?；贖DD的傳統(tǒng)磁盤陣列面對高性能負載應用已捉襟見肘，基于SSD的全閃存陣列是存儲系統(tǒng)獲得極致性能提升的主要手段。
SSD基于NAND-Flash構成，與HDD相比，其關鍵性能大幅提升，例如HDD的隨機I/O典型為400IO/s，SSD則高達6000IO/s，同時SSD降低了功耗、提高了可靠性。相對于傳統(tǒng)的磁盤陣列，基于SSD構建的全閃存陣列主要有以下優(yōu)勢：一方面，可以極大提升存儲系統(tǒng)的IOPS和時延性能，有效滿足金融交易系統(tǒng)、VDI、高性能計算等追求極致性能應用場景的需求；另一方面，得益于SSD的低功耗與高可靠特性，存儲系統(tǒng)的總體功耗和制冷設備能耗，以及故障維護費用可以得到有效降低，進而節(jié)省系統(tǒng)的總體擁有成本。
目前主流存儲系統(tǒng)提供商，如Dell EMC、NetApp、華為、Pure Storage、IBM等，60%以上的主存儲產(chǎn)品均采用全閃存陣列。2018年~2019年采用全閃存陣列的存儲系統(tǒng)市場增長超過20%，到2023年在存儲市場的占比預計達到50%。
基于分布式的超融合架構成為
構建企業(yè)云的重要解決方案
從存儲資源的擴展模式來看，存儲系統(tǒng)架構可分為兩種：集中式存儲和分布式存儲，其中集中式存儲包括DAS直接存儲和SAN/NAS網(wǎng)絡存儲。相對于集中式存儲，分布式存儲采用橫向擴展的節(jié)點集群模式，將數(shù)據(jù)分散到多個存儲服務器節(jié)點，各節(jié)點通過網(wǎng)絡構成虛擬的存儲整體對外提供存儲服務，因而具有以下優(yōu)勢：一是橫向擴展模式可按需靈活配置存儲節(jié)點，單節(jié)點容量可提升到PB甚至EB級別；二是存儲可與計算資源同步橫向擴展，使系統(tǒng)得到線性提升；三是易于對不同廠商的產(chǎn)品進行整合和管理，降低擴展成本。分布式架構已成為存儲系統(tǒng)容量擴展、應對非結構化數(shù)據(jù)存儲的基本特點。當前市場主流存儲系統(tǒng)產(chǎn)品均基于分布式架構，根據(jù)IDC預測，到2023年超過40%的存儲系統(tǒng)都是分布式的。
近幾年，企業(yè)上云率不斷提升，“公有云﹢私有云”的混合云架構在企業(yè)云存儲解決方案中的優(yōu)勢越發(fā)凸顯，企業(yè)云數(shù)據(jù)中心的部署對存儲系統(tǒng)提出了差異化的要求。相對于大規(guī)模云數(shù)據(jù)中心，企業(yè)云的部署主要有以下核心訴求：一是敏捷性，提高資源交付的靈活性與運維難度，縮短業(yè)務系統(tǒng)的部署與應用流程；二是穩(wěn)定性，提高容錯性，妥善應對硬件、網(wǎng)絡等故障，保障業(yè)務的連續(xù)；三是統(tǒng)一管理，將計算、存儲、網(wǎng)絡等資源融合管理，同時將不同區(qū)域、不同業(yè)務系統(tǒng)數(shù)據(jù)資源打通，消除數(shù)據(jù)孤島。特別是對于工業(yè)互聯(lián)網(wǎng)應用，工業(yè)場景分散、業(yè)務數(shù)據(jù)獨立管理易形成數(shù)據(jù)孤島，傳統(tǒng)IT架構管理平臺割裂增大管理難度和故障風險，工業(yè)互聯(lián)網(wǎng)的推進對企業(yè)云的穩(wěn)定性和統(tǒng)一管理提出更加迫切的需求。
基于分布式的超融合架構為企業(yè)建云提供了強有力的支撐。超融合架構基于x86服務器和分布式存儲，在同一套單元設備中融合計算、網(wǎng)絡、存儲和服務器虛擬化等資源及技術，多套單元設備通過網(wǎng)絡聚合，實現(xiàn)模塊化的橫向擴展，形成統(tǒng)一的資源池。與傳統(tǒng)架構相比，超融合架構具有以下特點：基于x86服務器的特性降低了建設與擴充成本，一體化的設計降低了系統(tǒng)資源構建、運維與管理難度，提升了可用性；分布式的架構實現(xiàn)資源彈性擴展與分散配置，避免單點故障對系統(tǒng)的影響；存儲虛擬化將不同業(yè)務系統(tǒng)數(shù)據(jù)資源打通，避免了數(shù)據(jù)孤島。分布式超融合架構可較好滿足企業(yè)云敏捷性、穩(wěn)定性與統(tǒng)一管理的部署需求，特別是在支撐大型企業(yè)工業(yè)互聯(lián)網(wǎng)建設方面有較大優(yōu)勢。隨著工業(yè)互聯(lián)網(wǎng)的深入推進，未來企業(yè)云在各個行業(yè)的深入部署與應用將有力帶動分布式超融合架構的發(fā)展，根據(jù)IDC的預測，未來兩年超融合架構存儲的年復合增長率達到25.2%。
云存儲的協(xié)同發(fā)展對數(shù)據(jù)管理
提出更高要求
在新基建的帶動下，云數(shù)據(jù)中心的規(guī)?；ㄔO與邊緣計算節(jié)點和終端設備的部署，將極大提升數(shù)據(jù)跨云流動和云邊交互的協(xié)同需求，進而對存儲系統(tǒng)的數(shù)據(jù)管理能力提出更高的要求。
一方面，協(xié)同架構要求存儲系統(tǒng)實現(xiàn)高效的生命周期分級管理。根據(jù)讀寫頻率不同，不同生命周期的數(shù)據(jù)對存儲需求各異。例如邊端傳感器采集的信息，或金融系統(tǒng)實時處理的交易，數(shù)據(jù)的實時性強，讀寫頻率高，對存儲系統(tǒng)的時延、IOPS要求較高；實時數(shù)據(jù)經(jīng)處理后存檔，在一定時間內(nèi)存在檔案查詢或價值挖掘等需求，讀寫頻率較低，對存儲系統(tǒng)吞吐量、海量文件的存取效率要求較高；當數(shù)據(jù)不再需要讀寫，作為容災備份進行長期保存時，對存儲系統(tǒng)性能要求低，但對成本要求較高。隨著云存儲的普及，分散在邊緣云或中心云的數(shù)據(jù)對存儲性能需求將呈現(xiàn)較大差異，云邊協(xié)同和云網(wǎng)協(xié)同的架構要求存儲系統(tǒng)實現(xiàn)數(shù)據(jù)生命周期的分級管理，實現(xiàn)資源的最大化利用。
另一方面，協(xié)同架構要求存儲系統(tǒng)具備協(xié)同管理能力，滿足多樣化數(shù)據(jù)交互需求。當前“公有云﹢私有云”的應用模式實現(xiàn)了數(shù)據(jù)存儲成本、靈活性與安全性的有機結合，融合多云與混合云的多云架構成為越來越多的企業(yè)數(shù)據(jù)存儲的部署方案，云網(wǎng)協(xié)同的架構對存儲系統(tǒng)跨云的數(shù)據(jù)統(tǒng)一調(diào)度與協(xié)同管理要求不斷上升。隨著5G、工業(yè)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)的應用，更多的數(shù)據(jù)將在移動終端、攝像頭、傳感器等邊緣設備產(chǎn)生且在邊緣節(jié)點進行處理，云邊協(xié)同的架構需要存儲系統(tǒng)能夠基于互聯(lián)協(xié)議對云邊節(jié)點的數(shù)據(jù)進行訪問和管理，實現(xiàn)云端與邊緣側數(shù)據(jù)的匯聚與分發(fā)。
我國存儲系統(tǒng)產(chǎn)業(yè)發(fā)展問題和
應對策略
雖然我國存儲系統(tǒng)產(chǎn)業(yè)增速較快，但放眼全球格局，我國仍處于競爭劣勢。從產(chǎn)業(yè)市場來看，存儲系統(tǒng)的市場呈現(xiàn)向美日巨頭高度集中的特點。根據(jù)2020年第一季度全球外部存儲市場數(shù)據(jù)，排名前五位的均為美日企業(yè)（Dell EMC/NetApp/ HPE/Hitachi/IBM），市場總占比高達73%。我國華為位列第六，市場占比為5.9%；聯(lián)想與NetApp成立合資公司后首次躋身第九，市場占比為1.2%。我國本土化企業(yè)在全球市場的業(yè)務實力有待進一步提升。
目前我國存儲系統(tǒng)產(chǎn)業(yè)主要存在以下幾個問題：一是產(chǎn)業(yè)起步較晚，國內(nèi)大多數(shù)企業(yè)基于開源技術構建存儲系統(tǒng)軟件基礎，核心技術欠缺，與國際巨頭差距較大；二是產(chǎn)業(yè)鏈自主化程度不足，存儲芯片等產(chǎn)業(yè)鏈核心環(huán)節(jié)對國外供應依賴性較強，產(chǎn)品成本與供應存在一定風險；三是目前存儲系統(tǒng)產(chǎn)品較為單一，產(chǎn)業(yè)同質(zhì)化競爭較為激烈，核心優(yōu)勢有所欠缺。
要提升我國存儲系統(tǒng)產(chǎn)業(yè)的全球競爭力，一是要加強軟件的研發(fā)投入與產(chǎn)學研結合，以自主核心技術構建創(chuàng)新實力壁壘，推動產(chǎn)業(yè)界痛點問題與學術界的聯(lián)合攻關和學術界創(chuàng)新成果的轉化落地，突破存儲軟件的短板；二是要加強產(chǎn)業(yè)鏈核心環(huán)節(jié)的資金投入與技術攻關，努力擺脫長期受制于人的局面；三是要把握國內(nèi)市場需求，在新基建的引導下，針對不同的場景需求開發(fā)差異化產(chǎn)品，提升產(chǎn)業(yè)差異化競爭優(yōu)勢。
