文章內容

應需而變融易致遠----大數據時代，你準備好了嗎?

發布時間: 2012/9/23 22:40:18

2011年3月11日日本大地震發生后，美國國家海洋和大氣管理局（NOAA），通過分析海量的數據，包括陸基、海岸、海洋、海洋生物資源和大氣層等的信息數據，僅9分鐘后，就發布了詳細的海嘯預警；NOAA每年的IT預算高達10億美元，雖然花費巨大，但樂此不疲，因為這些信息關乎生命，這些數據可以拯救生命，改變世界。在這個信息爆炸的時代，面對海量信息，你準備好了嗎？

大數據時代到來

近年來互聯網、云計算、移動終端和物聯網迅猛發展。日漸復雜的企業客戶信息數據，網店交易記錄，視頻監控終端產生的信息數據，博客、微博、照片、自創視頻等，數據每秒都在爆炸產生……；全球在2010 年正式進入ZB 時代，根據IDC 的預計，到2020 年全球將總共擁有35ZB 的數據量，相較于2009 年，數據量將增長44倍。2012年3月，奧巴馬政府公布大數據計劃，首批宣布投資2億美元。工信部發布的物聯網"十二五"規劃，把信息處理技術作為4項關鍵技術創新工程之一被提出來--毋庸置疑，我們已進入"大數據時代"，大數據正在改變商業，生活甚至政府。

應需而變

曾經是攝影代名詞的柯達在自己132歲時轟然倒下；同時，1962創建的零售之王沃爾瑪，連續多年蟬聯零售商第一；擁有350名員工的FaceBook僅僅只用了8年時間，上市首日市值達1152億美元，成為歷史上規模最大一宗科技公司IPO。變化帶來的不僅僅是挑戰，更是機遇，甚至是彎道超車的機會。

挑戰與機遇面前人人平等，那么生存，發展，超越的銀彈是什么呢？銀彈就是大數據，就是大數據中的大價值。沃爾瑪是最早通過利用大數據而受益的企業之一，通過對消費者的購物行為等非結構化數據進行分析，沃爾瑪成為最了解顧客購物習慣的零售商，并創造了"啤酒與尿布"的經典商業案例。沃爾瑪一度擁有世界上最大的數據倉庫系統，數據中心的數據量已經是美國國會圖書館的167倍。Facebook每秒鐘都在生成海量的結構和非結構化數據，一對一的消費驅動模式中蘊含著用戶的消費傾向，"數據"的挖掘分析大幅提升廣告的精確投放效果，并且可以通過用戶行為預測多個行業的發展趨勢，蘊含巨大的商業價值。Facebook 1152億美元的IPO很大程度是對大數據中大價值的認同。大數據時代，管理大數據，挖掘大數據中的大價值，就抓住了機遇，也就能立于不敗之地。

挑戰與機遇并存

大數據有著4"V"特性：Volume、Variety、Velocity、Value。要把握大數據，挖據出大數據中的價值，從技術的角度來說，兩個問題需要解決：數據的存儲，數據的分析。大數據的Volume 屬性--"海量數據"一詞從七十年代延展至今，正在發生從量變到質變的飛躍。所謂質變是說，從來沒有一個時期要如此依賴數據，同時，傳統的數據處理和數據管理技術正在受到當今"海量數據"的直接挑戰。

（一）ZB級的數據管理和數據分析，不是傳統的IT服務器、磁帶、縱向擴展設備能夠承載的，數量級和復雜程度到達一個層級，引導企業進行信息化技術和企業業務的革新。傳統利用SPSS統計分析軟件建模的方式已經有些力不從心，而如果采用抽樣統計分析的方式，有些新的用戶行為特征或業務趨勢就會被忽略。

（二）世界經濟形勢趨緊，高額的IT預算，究竟應該在哪里投入。據調查企業目前73％的預算都用在基本業務運轉上，剩下的才對商業運營有支撐作用。CIO的苦痛在于IT設施不斷的膨脹，僅僅是因為業務的數量漲了，沒有給企業經營帶來真正的增值。

（三）據統計，ZB級的數據中，80%以上是半結構化，非結構化數據。為了應對"大數據"浪潮，很多企業在具備一定結構化處理能力的基礎上，將非結構化數據依托給了Hadoop。但當深入探索之后，有投資人給出了這樣的感受--使用Hadoop構建分析性查詢，會變成類似用錘子來建造房屋的活動：特定的數據模式分析任務中性能低的可怕；高昂的后期開發和維護任務成本；企業信息孤島；數據單點故障。

那么是否說明了，"大數據"帶來企業業務革命性挑戰真是存在呢？答案是Yes。那么是否說明了，"大數據"需要革命性技術革新呢？答案是No。

融易致遠

展開"大數據"的畫卷，我們能夠看到的是如下現狀：

a.眾多企業都在為大數據時代的到來作出反應，數據庫廠家提供的昂貴的結構化數據解決方案無法適應企業收緊IT預算，同時要進行海量數據分析的要求；企業將目光轉向Hadoop開源系統，但處于進退兩難的境地。

b.IT廠商也同時意識到了這個問題，紛紛將Hadoop集成進入大數據解決方案，以此迎合Hadoop已經在大數據領域占領的一席之地；

c.上述的簡單嫁接，企業處于業務系統、歸檔系統、數據分析系統相互隔離導致的尷尬境地，同時面臨高額的TCO對IT預算的困擾；

應對上述現狀，華為推出了X位一體的大數據存儲解決方案。方案中，海量結構化、非結構化數據一體化存儲；統一的并行任務調度框架支撐結構化、非結構化海量數據清洗、數據分析；海量數據的生命周期管理，支持歷史數據的歸檔、壓縮、掉電策略；歷史數據仍納入海量數據的引擎管理；同時，通過海量非結構化數據的內容感知（元數據管理），建立海量非結構化數據的搜索引擎，加速熱點數據的快速訪問。華為大數據存儲解決方案通過融合的方案，多樣化數據統一存儲、分析、備份和歸檔，解決了信息孤島，也解決了隨著業務的發展，對量和性能不斷拔高的需求；同時，又能根據需求的變化對容量和性能進行擴容,保持低廉的TCO。