隨著HPDA的整體發展,從業務負載上而言需要考慮HPC/AI、大數據以及AI的混合疊加,需要支持應用驅動的科學計算工作流,進而推動負載以數據為中心,從計算科學發現轉向數據科學發現轉變。
這種情況下,“海納百川,有容乃大”的意義就凸顯了出來。不久之前,在深圳一所國家重點實驗室,華為OceanStor Pacific分布式存儲與早期依托X86 CPU+GPU+Lustre存儲+IB交換機組網構建的某大科學裝置AI集群進行了綜合的POC測試。其結果顯示,華為OceanStor Pacific分布式存儲完美兼容匹配該大科學裝置的AI集群生態環境,更重要的是通過實測,其多項指標性能和功能均優于現有系統。華為與該國家重點實驗室聯合操作的這項POC測試意義極其深遠重大,遠超于一款產品或解決方案發布:它代表了一種實事求是,兼容并蓄的發展策略;是一塊國產先進存儲面向全球的敲門磚,一艘中國科技與全球化間的破冰船;對于科學研究,乃至更多領域的數字化、智能化進程來說,這是十分幸運的。
包容的胸懷是我們做成很多事情的根基,也是一項產業戰略、科技事業發展的關鍵。近幾年,數據基礎設施國產化,在科技自立的大背景下如火如荼。比如,以計算和存儲為主要構成的HPC/AI數據基礎設施事關國計民生,在以科技創新和基礎科研為代表的關鍵領域均扮演著重要角色。但很多科技科研場景的HPC/AI數據基礎設施當前都依托X86 CPU+GPU+Lustre存儲+IB交換機這個大一統的抱團生態體系,且已成為業界公認的HPC/AI設施最佳性能組合之一。如何兼顧科技科研領域的效率成果與自立自強,為HPC/AI等多樣性算力應用關鍵場景,提供最適合業務的數據底座,成為一個關鍵問題。
不久之前,華為OceanStor Pacific分布式存儲與在深圳某國家重點實驗室依托X86 CPU+GPU+Lustre存儲+IB交換機組網構建的大科學裝置AI集群進行了POC測試。從測試結果上看,整體兼容
尤其在科研領域,HPC/AI正在全球各個學科的研究中扮演重要角色,X86+GPU算力平臺可以更方便教授學者與科研從業人員接觸全球最新學術動態和驗證科研成果。這種強慣性的作用下,短時間內強行脫離X86生態是不現實的。因此,早期甚至當前新建的很多HPC/AI基礎設施,選擇建立在X86+GPU體系上。
也就是常說的混合負載;核心是數據與業務的耦合度在增加,從簡單走向復雜。X86+GPU主導的大一統生態技術體系經過了數十年發展和構建,第二個挑戰是應用的負載從單一走向多樣化,特別是對數據存儲性能帶來極致挑戰。且環環相扣,但也是客觀存在不可回避的現實。其大樹根基在全球和中國已經十分深遠。第一個挑戰是應用的數據量級從PB級正在加速走向EB級;這在某種程度上來說是種無奈,數據計算需要參與整個業務流程的多個環節,科技科研的突破速度取決于數據基礎設施的性能,最后一個挑戰是應用類型的變化,數字化成果都捆綁X86+GPU。大量國際國內的數字化工具和軟件應用,缺一不可。
在當前推進科技科研自立自強的大時代背景下,面對這些數據中心存儲挑戰和需求,以及面對X86+GPU體系暫不可完全替代,國內業界都希望看到先進的國產存儲兼容X86+GPU環境的下的HPC/AI應用,也可以提供媲美Lustre存儲的性能和功能。
被稱為開眼看世界的林則徐,在自己的書房中寫了這樣一副對聯,以做自勉:海納百川,有容乃大,壁立千仞,無欲則剛。