數字時代,數據共享互通成為剛需

 

數字經濟時代,云計算、大數據、人工智能等新技術快速發展,非結構化數據爆發式增長,數據類型變得愈發復雜多樣。在自動駕駛、基因測序、氣象預報等云數智應用場景中,一次數據處理可能會涉及到文件、對象、大數據等多種協議,數據間的互通轉換成為數據存儲中至關重要的一環,具備平臺化能力的融合存儲成為數字基礎設施建設的核心。

 

以基因測序場景為例,一次完整的基因測序涉及到數據采集、格式化、脫敏、壓縮、分析、發布等操作,其過程可以大致分為樣本采集、DNA/RNA測序、數據分析和發布四個步驟。在不同的處理階段,需要使用不同的數據協議進行操作。其中在樣本采集和DNA/RNA測序階段采用NFS文件協議,數據分析階段采用HDFS大數據協議,數據發布階段則是通過公網數據共享采用S3對象協議。整個數據處理過程涉及三種協議格式,這就意味著完成一次基因的測序流程需要在NFS、HDFS和S3之間進行兩次數據拷貝和數據格式的轉換。傳統存儲僅支持單一的訪問協議,這就會造成兩個問題:一是數據格式轉換和數據拷貝會降低整個數據處理流程的效率;二是多套存儲副本增加存儲空間成本。

   

基因測序應用需要使用多種數據協議

百川入海:浪潮基于一套存儲 承載多樣化數據

 

浪潮分布式存儲平臺AS13000基于對非結構化數據協議(NFS/CIFS/HDFS/S3)融合互通的研究進行技術創新,采用統一的數據管理和元數據管理、統一的增值特性服務、統一的分布式存儲資源池和統一的管理軟件系統,保證各種協議共享同一份數據和元數據。訪問過程中無需數據轉換和拷貝,并且為每種協議提供原生語義服務,每種服務均可直接訪問,無需安裝網關、插件或在計算側或應用層進行改造。

   

AS13000非結構化數據融合架構

基于“多合一”極簡架構,浪潮分布式存儲得以實現四個“統一”。

 

首先,提供統一的數據管理和元數據管理。

 

數據管理和元數據管理是非結構化數據存儲的關鍵,浪潮分布式存儲平臺AS13000根據NFS、CIFS、HDFS和S3的語義和元數據特點,抽象各協議的數據和元數據操作,通過一套統一的非結構化數據和元數據管理架構有效地保證各協議的原生訪問。

 

其次,提供統一的增值特性服務。

 

基于統一的數據訪問接口和元數據管理的架構設計,浪潮AS13000對外提供統一的增值特性服務,包括統一配額、QoS、加密、壓縮、快照、回收站、分級存儲、遠程復制、元數據檢索等等。

 

以下圖為例:同一個元數據檢索服務ElasticSearch支持NFS、CIFS、S3、HDFS多種協議,并且各協議為同一配置入口和查詢入口。

   

統一增值特性示例:元數據檢索服務

再次,構建統一的分布式存儲資源池。

 

AS13000支持NFS/CIFS/HDFS/S3等多種服務協議共享非結構化存儲資源池,并且同一個文件不同協議訪問的數據和元數據為同一份。例如,通過文件NFS協議寫入的一個文件,通過對象存儲AWS S3協議、大數據HDFS協議和文件CIFS協議均可讀取;每個節點都可以啟動文件NAS、大數據HDFS和對象存儲S3服務。

 

最后,打造統一的管理系統。

 

管理軟件負責集群的安裝、部署、業務配置、設備管理、監控、告警等功能。浪潮分布式存儲平臺AS13000打造了融合互通的管理系統,可同時支持NFS/CIFS/HDFS/S3等多種服務協議,增值特性通過統一的配置入口對所有非結構化存儲協議同時生效,減少了企業的管理成本。

 

浪潮分布式存儲平臺AS13000通過多年來的持續技術創新,以一份數據支持多種協議訪問,實現了非結構化數據融合互通,在提升數據處理效率的同時降低了存儲購置和運維成本,保障各協議的語義無損和性能無損,構筑了面向“云數智”應用的融合存儲平臺,助力企業數字化轉型,加速釋放數據價值。

(新媒體責編：wa12)