海量非結構化數據存儲問題初探

電力企業非結構化數據存儲及管理現狀

1　電力企業檔案非結構化數據的存儲特點

與傳統檔案的館藏資源相比，數字檔案館信息資源有其自身的特點。從存儲的角度來考慮，數字檔案館館藏數字資源具有以下特點：

(1)存儲容量大。數字檔案館的各種數字化信息如流媒體、歷史檔案等的增長也將一直持續下去。存儲信息的度量單位由MB，GB向TB，PB轉變，其存儲的數據總量達到了海量規模。

(2)媒體形式多。數字檔案館館藏包括數字化的文書、圖紙、實物、照片、電子出版物、互聯網內容、政府文件等各種各樣的人文與科學數據資源。其存儲媒介已不限于印刷體，它包含文本、聲音、圖像、影視等多種媒體形式，數據類型復雜。

(3)快速增長。近幾年來，檔案館數字資源呈幾何級數增長，數字檔案和全文數據庫是數字檔案館藏資源的重要增長點。如各企業正在進行的歷史檔案的數字化工作，將會使數字館藏迅猛增長。

2　電力企業非結構化數據存儲管理的現狀

目前電力企業對非結構化數據的存儲方式有如下幾種方式：

(1)直接存儲在結構化數據庫的BLOB字段中。目前電力企業大部分的應用系統中的非結構化數據，如報告、報表、圖片等都是以二進制的格式保存在結構化數據庫的BLOB字段中。保存在BLOB字段中的好處是調用文件的速度很快，維護和管理簡單，與其他應用系統沒有任何關聯；缺點一是由于非結構化數據文件大，在數據量不斷增大的情況下，會使得結構化數據庫迅速膨脹，導致數據庫性能下降，進而影響整個應用系統的性能；二是由于各個應用系統相對封閉和獨立，其他應用無法共享相關文檔資料。

(2)以FTP上傳的方式保存到文件服務器中。以這種方式保存非結構化數據的應用較少，比較典型的應用有數字檔案館、知識管理和網站。

(3)通過文件系統直接存儲在文件服務器中。對于大多數沒有應用系統的非結構化數據，如信息管理部門常用的工具軟件、開發的應用系統軟件、源代碼、開發過程文檔、技術研究資料等，新聞中心的素材、資料等通常都是將文件直接存儲到文件服務器中。

海量非結構化數據存儲整合

在數字檔案館建設過程中發現，企業各類業務系統都有數字資源的歸檔要求。面對各業務系統各自為戰的存儲系統，許多企業都正在評估和選擇實現信息資源整合的最佳途徑，而其中絕大多數所瞄準的都是基于文件結構使用SAN或NAS進行整合的方式。

1　數據整合的驅動因素

進行存儲系統整合的根本目的是為了減少存儲資源的數量。目前文件服務系統的規模會隨著新增企業應用的部署和新的擴展需求而不斷增長，最終會形成一個擁有越來越多文件服務器的龐大的文件服務環境。這種復雜的文件服務環境是不利于業務系統數字資源的管理、歸檔的。下面對非結構化數據存儲整合的驅動因素逐一論述。

降低管理成本

系統整合所帶來的一個好處就是能夠減少企業的IT管理工作。隨著需要管理的存儲設備的減少，處理這些管理任務所需要用到(續致信網上一頁內容)的人力資源也可以相應地減少。而如果任隨這些系統不斷增長，隨著時間的推移，最終將積累起大量的文件服務器資源，這些資源的維護對IT人員來說將是一個極大的負擔。

經濟利益

存儲系統整合的實現同樣會對企業的經濟產生極大的正面促進作用。當企業將多個系統整合成一個之后，就能夠節省下多余的軟件許可費用和磁盤空間，得以節省大量的IT成本。更重要的是，IT管理員花費在管理這些系統進行軟硬件更新和解決相關問題上的時間也能夠得到極大的節省。

資產保護

實現存儲系統整合的另一個基本的驅動因素就是要更好地進行企業資產的保護。備份機制是否為數據提供了足夠的保護?有沒有合適的安全控制?如果這些過程都能夠從中央來統一進行管理和控制，那么以前所必須要進行的備份次數以及系統的安全控制點都能夠大大減少，企業就將有機會確保企業資產都得到了完善的保護。

2　實現整合的不同方式

目前在整合多個存儲系統時有多種不同的方式可供選擇。一種方式是企業購買一個大型NAS設備并淘汰掉其他小型的存儲系統，在整個企業范圍內只存在一個存儲系統；另一種方式是采用虛擬數據中心的方式，也就是說其他已有的小型存儲設備都隱藏在一個中央存儲系統之后或分散在不同的物理地點，所有的資源實際上和以往一樣都仍然存在，但只會有一個單一的數據界面需要管理。

文件服務器整合

存儲系統整合的第一種類型是針對那些被部署用于解決某個特定應用需求的單獨的文件服務器。在原有的基礎架構之下，越來越多的文件服務器會隨著新增企業應用的上線而被獨立部署到企業IT環境中，企業的存儲系統將無法避免地變得越來越膨脹。文件服務器整合的目標是通過設施整合將系統控制在一個更小的機構，比如一個工作小組或一個部門中統一集中起來。常見的處理問題的方法是安裝部署一個“全功能盒子”或類似的設備將那些多個文件服務器結合在一起并放到一個統一的平臺上去。

非結構化數據的整合

現在企業普遍都有一個同的認識，即一個更大型的NAS系統有助于增強存儲系統擴容性方面的能力并且能夠消除分布各處的獨立的存儲設備，但存在整合過程較為復雜以及成本過高的問題。而這種中央化整合或者說通過虛擬數據中心管理的軟件可以將數據中心的存儲設備與分散的文件服務器進行整合。建立虛擬的非結構化數據中心不僅能夠統一管理分布在各個物理地點的存儲設備，而且為管理員和客戶提供了唯一的訪問路徑，顯然更加符合企業不斷擴展、多個物理數據中心并存的現實狀況。

服務器租用/服務器托管中國五強！虛擬主機域名注冊頂級提供商！15年品質保障！--億恩科技[ENKJ.COM]