突破數據瓶頸，浪潮高性能存儲平臺加速產業數智化變革

(相關資料圖)

當前，AIGC技術的爆發，讓產業智能化和智能產業化進入高速發展期，數據作為關鍵生產要素，正在成為這輪全球增長和科技創新的引擎。近日，浪潮參加由百易傳媒舉辦的2023全球閃存峰會，并在會上重磅發布高性能分布式存儲平臺AS15000G7，以在性能、管理、融合和效率方面追求極致的智慧存儲新品，構筑智慧世界基石，推進AI產業化變革。

AI大模型對數據存儲產業帶來的機遇與挑戰

AIGC是當前通用人工智能產業發展創新的核心技術，其具備強大的認知智能，在搜索引擎、藝術創作、影音游戲，以及金融、教育、醫療、工業等領域有著廣闊的應用前景。Gartner預測，到2023年將有20%的內容被AIGC所創建；到2025 年人工智能生成數據占比將達到10%。據分析師預測，到2032年，生成式AI市場規模將達到2,000億美元，占據人工智能支出總額的約20%，明顯高出當前的5%。換言之，未來十年市場規模可能每兩年就會翻一番。

AIGC的爆發，源自于大模型的逐漸成熟，大模型成熟的先決條件是大規模高質量的數據、強大的算力和成熟優化的算法，而其中，數據質量和數量決定了算法的效果和性能。隨著參數量和數據量的極速膨脹，數據存儲與管理正在成為制約AIGC產業發展的瓶頸：一是要支撐基于海量多元異構數據的歸集、標注、訓練、推理和歸檔全生命周期管理；二是要承載AIGC數據訓練推理時的高性能、低延時、大容量、易擴展、自由流動的嚴苛需求。大模型訓練數據多元、數據作業流程長、多態大模型數據量持續增長、多模計算大模型性能要求高，對當前AI數據存儲基礎設施提出了新挑戰：

數據歸集與準備：大模型的數據包括從互聯網及數字圖書館上收集的海量文本型數據，以及多渠道獲取的圖片型和視頻型數據，對這些多元異構海量數據預處理后才能用于大模型訓練，在此作業流程中數據的搬運和加載，要去存儲系統多協議互訪互通，存儲成為應用平臺的關鍵瓶頸；

數據訓練：大模型海量多元異構數據的訓練，通常采用將數據加載到成百上千個節點內存中并行計算的方法，此過程中頻繁地從數據集取Token，每個Token一般4字節，實時高并發小IO性能需要極低的延遲，對數據存儲系統的吞吐性能提出了嚴苛的要求；

數據推理：機器學習大模型要求頻繁的參數調優，當服務器故障、網絡故障造成節點中斷時，需要數據存儲提供高帶寬，確保Checkpoint機制可以快速訪問數據，使數據能夠重新加載，訓練能夠快速恢復；

數據歸檔：越多的數據投喂結果越精準的工作原理，決定了大模型訓練存在深度學習網絡層數多、連接多、參數和數據集種類復雜、數據量大的特征，大模型訓練過程中快速迭代，產生大量訓練數據和人工標注數據，對這些資產高效存儲與管理，且最大化數據基礎設施投資回報比，成為數據基礎設施廠商必須解決的問題。

浪潮高性能分布式存儲平臺AS15000G7

產業發展的根本在于科技創新。浪潮作為最早布局AI產業的企業之一，圍繞智算中心業務布局，打造了算力、算法、數據全棧解決方案。在數據存儲領域，浪潮秉承"存儲即平臺"的產品理念，準確識別客戶痛點積極布局面向AIGC應用場景的數據全生命周期存儲解決方案，并基于業界對大模型訓練的數據存儲在性能、管理、融合和效率方面更極致的需求，重磅發布高性能分布式存儲AS15000G7平臺，助力AIGC在金融、教育、醫療等領域突破海量多元異構數據存力瓶頸，加速釋放數據價值。

關鍵詞：