為AI和HPC蓄力 希捷推出基于Infiniband的混合存儲解決方案

(資料圖片)

在數(shù)字經(jīng)濟的浪潮下，AI技術(shù)迎來井噴。以ChatGPT為代表的生成式大模型的快速發(fā)展給AI算力帶來了巨大需求，人工智能技術(shù)已經(jīng)從象牙塔走向人們的日常生活和工作。

在AI場景中，存儲發(fā)揮著非常重要的作用。可以說，AI模型落地過程中，最頂尖的挑戰(zhàn)就是數(shù)據(jù)。AI生成的數(shù)據(jù)如同天文數(shù)字般不斷增長，帶來了對算力需求的暴增。人工智能行業(yè)要實現(xiàn)快速發(fā)展，必須注重存儲能力和計算能力的同時提升。比如除了存放訓(xùn)練和推理的數(shù)據(jù)之外，存儲系統(tǒng)還要存放原始數(shù)據(jù)、標(biāo)注數(shù)據(jù)、特征數(shù)據(jù)等很多類型的信息，以及交互中產(chǎn)生的數(shù)據(jù)集、模型參數(shù)快照和中間數(shù)據(jù)等，數(shù)據(jù)量十分龐大。此外，GPU計算資源非常珍貴，存儲的快速部署和后期穩(wěn)定運行會非常有助于GPU的高效利用。

基于此，希捷科技打造了基于英偉達高速Infiniband網(wǎng)絡(luò)的混閃存儲方案，為不同規(guī)模的AI計算集群提供高性價比的標(biāo)準(zhǔn)化存儲。此混合存儲方案的存儲單元采用了內(nèi)置NVMe固態(tài)硬盤和希捷機械硬盤高速存儲相互配合的混閃模式，既能提供超高的性能，也能提供更佳的性價比。該解決方案充分利用了IB網(wǎng)絡(luò)低延遲、高帶寬的優(yōu)勢，滿足文件傳輸性能。采用NVMe固態(tài)硬盤提供小文件和元數(shù)據(jù)所需要的低延遲IOPS性能，同時采用機械硬盤提供大文件所需要的高帶寬性能。并且應(yīng)用了成熟、通用的文件系統(tǒng)，以達到整體方案的高可用性，并提供了增值功能。同時，該存儲方案通過軟硬件標(biāo)準(zhǔn)化和預(yù)集成方式，保證系統(tǒng)整體性能達到預(yù)期，也降低了部署和運維的難度。

值得一提的是，該解決方案于8月24日在2023年CCF全國高性能計算學(xué)術(shù)年會（CCF HPC China）亮相，幫助有高算力需求的客戶解決海量數(shù)據(jù)難題。除此之外，在本屆CCF HPC China大會上，希捷科技聯(lián)合神州數(shù)碼展示了一系列企業(yè)級數(shù)據(jù)存儲解決方案，其中包括希捷銀河Exos X 5U84系統(tǒng)、希捷銀河Exos X20、X18大容量機械硬盤、HAMR熱輔助磁記錄、MACH.2雙磁臂技術(shù)等，旨在更好地幫助企業(yè)用戶進行高性能計算建設(shè)。

關(guān)鍵詞：