如何應(yīng)對大數(shù)據(jù)洪流

申請免費(fèi)試用、咨詢電話：400-8352-114

對存儲容量復(fù)雜而無止境的需求，讓存儲管理員感到十分頭疼。以下我們將為大家介紹一些如何應(yīng)對數(shù)據(jù)洪流的方法。

以往只有科研人員、互聯(lián)網(wǎng)巨頭，以及亞馬遜、推特、臉譜和Shutterfly等社交媒體巨頭面臨數(shù)據(jù)洪流的問題，但是現(xiàn)在越來越多的企業(yè)開始嘗試通過大數(shù)據(jù)挖掘來發(fā)現(xiàn)手中所掌握的有價值信息，并以此獲得競爭優(yōu)勢。如今，沃爾瑪、金寶湯、輝瑞默克和Wawa連鎖便利店正在為他們的大數(shù)據(jù)制訂一套宏偉的計劃。

為了更快地回應(yīng)客戶，更好地追蹤客戶信息，以及更迅速地向市場導(dǎo)入新產(chǎn)品，許多公司開始投資大數(shù)據(jù)分析。

市場研究機(jī)構(gòu)IDC存儲分析師Ashish Nadkarni稱： “對于身處互聯(lián)網(wǎng)時代的任何公司來說，如果他們不這樣做，他們的競爭對手就會先下手為強(qiáng)。”

目前所有機(jī)構(gòu)都被來自內(nèi)部和外部的數(shù)據(jù)所淹沒。在這些數(shù)據(jù)中，許多數(shù)據(jù)是實時傳輸過來的，又有許多數(shù)據(jù)只會被用上幾分鐘、幾小時或是幾天時間。

市場研究公司Aberdeen Group表示，因此帶來的存儲需求的增長對大型企業(yè)來說尤為棘手。在這些大型企業(yè)中，從2010年至2011年，結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)所需要的存儲容量平均增長了44%。無論多大規(guī)模的公司，數(shù)據(jù)存儲需求每隔2.5年就會翻一番。而且對視頻存儲、電子表格、格式化數(shù)據(jù)庫和純非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行優(yōu)化需要不同的工具。

Aberdeen 集團(tuán)虛擬化和存儲分析師Dick Csaplar 稱：“能夠讓存儲方面的花銷不隨存儲需求增長而增長是一個挑戰(zhàn)。”能夠幫助主流大數(shù)據(jù)用戶避免陷入這一惡性循環(huán)的技術(shù)有存儲虛擬化、去重和存儲分層技術(shù)。對于科研人員、社交媒體網(wǎng)站與仿真項目開發(fā)人員等大數(shù)據(jù)重度用戶，面向?qū)ο蟮暮完P(guān)系型數(shù)據(jù)庫存儲都是不錯的選擇。

與內(nèi)部日常存儲平臺相比，以易于訪問的格式存儲PB級（和更大規(guī)模）數(shù)據(jù)所需的系統(tǒng)在設(shè)計上要更為復(fù)雜。以下是專家對管理和存儲大數(shù)據(jù)提出的一些建議。

分析數(shù)據(jù)類型

所需的存儲類型取決于要分析的數(shù)據(jù)類型與數(shù)量。全部數(shù)據(jù)均有一個保存期限。例如，股票報價只在價格變動前的一或兩分鐘內(nèi)重要。棒球比賽得分對于人們來說，只需要保存24小時或是直到下一場比賽前。這一類型的數(shù)據(jù)在最需要的時候應(yīng)當(dāng)保存在主存儲器中，隨后即可以轉(zhuǎn)移至廉價的存儲器內(nèi)。多年來的觀察已經(jīng)證明了這一理念，即被長期存儲的數(shù)據(jù)通常并不需要存儲在容易被訪問到的主驅(qū)動器上。

分析存儲容量

在存儲大數(shù)據(jù)時，企業(yè)需要的存儲容量和類型取決于所需要存儲的數(shù)據(jù)大小和這些數(shù)據(jù)的使用時限。

在大數(shù)據(jù)分析中涉及三種類型的數(shù)據(jù)。Nadkarni稱：“它們能夠?qū)碜远鄠€來源的數(shù)據(jù)每秒源源不斷地傳輸給你，在這些數(shù)據(jù)失去時效性之前，時間切片應(yīng)當(dāng)為數(shù)分鐘。”這類數(shù)據(jù)包括天氣、交通、社交網(wǎng)絡(luò)上的趨勢話題和關(guān)于全球事件的Twitter等更新信息。

大數(shù)據(jù)還包括了那些休眠數(shù)據(jù)或是公司為了適度使用而生成和控制的數(shù)據(jù)。

數(shù)據(jù)傳輸需要快速的捕獲和分析能力。Nadkarni稱：“一旦分析了它們，企業(yè)就不再需要它們了。但是對于休眠數(shù)據(jù)或被控制的數(shù)據(jù)，應(yīng)當(dāng)將它們存儲起來。”

選擇最適用的存儲工具

對于那些剛開始涉足大數(shù)據(jù)存儲和分析的公司，行業(yè)觀察人士建議采用將所有的存儲放在一個保護(hù)傘下的存儲虛擬化技術(shù)、去重壓縮數(shù)據(jù)技術(shù)和分層存儲方案，以確保最有價值的數(shù)據(jù)被存儲在最容易被訪問的系統(tǒng)中。

存儲虛擬化提供了一個軟件抽象層，讓用戶無法找到物理設(shè)備，并且允許所有設(shè)備作為一個單一的池被管理。盡管服務(wù)器虛擬化已經(jīng)成為了目前上網(wǎng)行為基礎(chǔ)設(shè)施中的一個成熟組件，但是存儲虛擬化仍然未被廣泛接受。

在2012年2月份，Aberdeen對106家大型公司進(jìn)行了調(diào)查。結(jié)果顯示，僅有20%的受訪者表示他們擁有一個單獨(dú)的存儲管理應(yīng)用。平均下來，3個管理應(yīng)用對應(yīng)3.2個存儲設(shè)備。

盡管如此，許多存儲廠商并不愿意讓自己生產(chǎn)的設(shè)備接受其他廠商產(chǎn)品的管理。Csaplar說：“存儲虛擬化非常復(fù)雜，并且極為耗時。因此，它們無法像服務(wù)器虛擬化那樣被廣泛接受。”相反，許多存儲管理員正在關(guān)注針對第三或第四層存儲的云解決方案。因為云方案能夠更為容易地在不同基礎(chǔ)設(shè)施之間轉(zhuǎn)移數(shù)據(jù)，同時可以降低存儲成本。他補(bǔ)充說：“許多公司已經(jīng)這么做了，并且得到了良好的效果，但這距離人們的期望值還存在一定的差距。”

Csaplar希望看到，隨著網(wǎng)絡(luò)連通性的改善，成本的下降，以及傳輸過程中數(shù)據(jù)加解密能力的提升，云存儲和其他基于云的計算資源的使用率在不久的未來將出現(xiàn)增長。他說：“有了云，就可以從運(yùn)營預(yù)算中結(jié)算每月的賬單而無須單獨(dú)的資金預(yù)算。”

去重與壓縮

通過去重技術(shù)，管理員能夠降低所需的存儲空間。由于數(shù)據(jù)壓縮工具可識別出各個文件中的重復(fù)字符串，并且每個文件僅存儲一份拷貝，因此去重過程可以消除冗余數(shù)據(jù)。

那么這樣一來可以降低多少存儲需求呢？Aberdeen的調(diào)查報告顯示，13%的受訪者表示，他們將數(shù)據(jù)大小降低了50%。另有約13%的公司表示，高度重復(fù)的結(jié)構(gòu)化數(shù)據(jù)減少了30%至50%。

存儲分層

一旦公司確定他們將分析哪些數(shù)據(jù)，存儲管理員就能夠?qū)⒆钚潞妥钪匾臄?shù)據(jù)放在速度最快、可靠性最高的存儲介質(zhì)上。隨著數(shù)據(jù)的時效性越來越差，這些數(shù)據(jù)可以被轉(zhuǎn)移到速度較慢、價格較便宜的存儲上。具有存儲分層程序自動化功能的系統(tǒng)正在受到關(guān)注，但是還沒有被用戶廣泛采用。

在制訂存儲等級時，管理員必須要考慮存儲技術(shù)、設(shè)備的速度，以及保護(hù)數(shù)據(jù)安全的RAID的形式。

失效備援的標(biāo)準(zhǔn)解決辦法是復(fù)制，通常以RAID陣列的形式進(jìn)行復(fù)制。在線照片分享網(wǎng)站Shutterfly的高級副總裁兼首席技術(shù)官Neil Day指出，如果數(shù)據(jù)的規(guī)模過于龐大，那么RAID所產(chǎn)生的問題會比其解決的問題還要多。由于允許用戶無限量地存儲原始分辨率的照片，因此，目前該網(wǎng)站存儲的數(shù)據(jù)已經(jīng)超過了30PB。

在傳統(tǒng)的RAID數(shù)據(jù)存儲模式中，每份數(shù)據(jù)的拷貝都被做成鏡像存儲在陣列中的多個磁盤上，以確保數(shù)據(jù)的完整性和可靠性。不過，這也意味著所存儲和被做成鏡像的每份數(shù)據(jù)在大小方面都翻了五倍。隨著RAID陣列所使用的驅(qū)動器容量越來越大——從密度和能耗方面看，目前，3TB的驅(qū)動器最具吸引力——將故障驅(qū)動器上的內(nèi)容完整復(fù)制到新驅(qū)動器上所需要的時間正變得越來越長。

Shutterfly最終選擇了糾刪碼技術(shù)。通過該技術(shù)，每片數(shù)據(jù)能夠被分成小數(shù)據(jù)塊，并分散存儲在不同的磁盤驅(qū)動器或服務(wù)器內(nèi)，而這些小塊本身并沒有意義。任何時候，即使由于驅(qū)動器故障導(dǎo)致多個小數(shù)據(jù)塊遺失，其余的部分小數(shù)據(jù)塊也可以完整復(fù)原數(shù)據(jù)。換句話說，不再需要創(chuàng)建多份數(shù)據(jù)拷貝，單一實例能夠確保數(shù)據(jù)的完整性和可靠性。由于糾刪碼技術(shù)是一種基于軟件的技術(shù)，因此這種技術(shù)能夠與商業(yè)化硬件一起使用，甚至可以降低大規(guī)模部署的成本。

Cleversafe是最早的糾刪碼軟件廠商之一。該公司通過添加位置信息研發(fā)了一種被稱為分散編碼的技術(shù)，允許用戶在地理上相互獨(dú)立的地方，如多數(shù)據(jù)中心內(nèi)存儲小數(shù)據(jù)塊或是數(shù)據(jù)切片。

超級大數(shù)據(jù)用戶

像Shutterfly這樣有著海量存儲需求的公司必須提前考慮塊存儲。Nadkarni稱：“在談?wù)揚(yáng)B級海量數(shù)據(jù)集時，企業(yè)必須要開始關(guān)注對象存儲或分布式文件系統(tǒng)了?？梢钥紤]EMC的Isilon集群存儲和戴爾Fluid文件系統(tǒng)等商業(yè)解決方案或是開源方案。它們必須能夠以更低的成本存儲數(shù)據(jù)，并且能夠提供更優(yōu)秀的性價比。此外，它們還要具備可擴(kuò)展性。”

他補(bǔ)充道，商業(yè)軟件的用戶常常會存儲一些用完即棄的一次性數(shù)據(jù)，并且?guī)缀鯖]有后處理需求。

不再需要存儲管理員

在正確部署后，存儲虛擬化、去重、存儲分層和糾刪碼技術(shù)可降低企業(yè)對管理人員的需求，因為這些工具能夠讓通過單一虛擬管理平臺管理數(shù)據(jù)。在Shutterfly的案例中，自動化存儲基礎(chǔ)設(shè)施允許公司降低維護(hù)人員的增長速度，隨著公司日常維護(hù)工作的減少，管理員可以將更多的時間花在一些具有前瞻性的項目上。

Nadkarni稱，在一些案例中，大數(shù)據(jù)項目由一些特殊團(tuán)隊完成，而不是傳統(tǒng)的上網(wǎng)行為員工。“這些項目由公司的業(yè)務(wù)部門負(fù)責(zé)掌管與運(yùn)營，因為上網(wǎng)行為基礎(chǔ)設(shè)施在靈活性上無法支持大數(shù)據(jù)環(huán)境，或是沒有掌握大數(shù)據(jù)所需要的相關(guān)技能。”

“在這些項目中可能沒有存儲管理員的身影，或者他們只扮演一個非常小的角色，所有的工作都將由系統(tǒng)人員完成。”

未來發(fā)展趨勢

Nadkarni認(rèn)為將計算層轉(zhuǎn)移至數(shù)據(jù)層之中的概念將會流行起來。“應(yīng)當(dāng)關(guān)注由Cleversafe提供的解決方案，以及其他存儲提供商提出的在存儲層中植入計算功能的解決方案。目前我們再也無法輕易地將數(shù)據(jù)轉(zhuǎn)移至計算層?？梢哉f這實際上已經(jīng)是不可能的了，尤其是當(dāng)需要在數(shù)據(jù)失去時效性之前只有幾分鐘時間分析它們的情況下。所以為什么不將計算層轉(zhuǎn)移至數(shù)據(jù)存儲層之中呢？”

Cleversafe針對Shutterfly等大數(shù)據(jù)重度用戶提供了一個高端的Hadoop解決方案，不過他們目前正在嘗試將其變成一個通用解決方案。Nadkarni稱：“Cleversafe打破了從一家廠商那里采購計算力，再從其他廠商那里采購應(yīng)用存儲的模式。為了在主流企業(yè)中獲得成功，公司的業(yè)務(wù)部門必須要開拓思路。我認(rèn)為它們最終將會受到廣泛認(rèn)可，因為目前模式的效率并不適合大數(shù)據(jù)的需求。”

他補(bǔ)充道：“大數(shù)據(jù)是公司保持競爭優(yōu)勢的工具。為了最大限度地利用手中的數(shù)據(jù)，公司必須要調(diào)整處理程序和使用方式，以便更加迅速地從這些數(shù)據(jù)中挖掘出它們所蘊(yùn)含的價值。”

Csaplar警告說：“在投資新的大數(shù)據(jù)存儲基礎(chǔ)設(shè)施之前，公司必須要做好調(diào)查研究和前期準(zhǔn)備工作。仔細(xì)研究它們，多與那些已經(jīng)部署了大數(shù)據(jù)存儲基礎(chǔ)設(shè)施的公司進(jìn)行溝通。大數(shù)據(jù)存儲基礎(chǔ)設(shè)施并不是什么尖端的東西，與已經(jīng)部署了它們的人進(jìn)行溝通，可以讓你在部署過程中避免犯下相同的錯誤。”（更多內(nèi)容詳見: http://www.cnw.com.cn/P/4729）

Hadoop不再是唯一的選擇

目前，“大數(shù)據(jù)”概念的范圍得到了很大程度的延伸。以前，大數(shù)據(jù)這一術(shù)語指那些對科研人員和社交媒體網(wǎng)站等高級用戶頻繁查詢、迅速做出響應(yīng)的復(fù)雜數(shù)據(jù)。如今，大數(shù)據(jù)這一概念中包括了大多數(shù)公司必須存儲的海量結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)。

盡管Hadoop和Cassandra開源系統(tǒng)是大數(shù)據(jù)存儲和分析的理想選擇，但是目前許多廠商已經(jīng)開始在調(diào)整他們的存儲系統(tǒng)，以應(yīng)對數(shù)以PB計的數(shù)據(jù)，以及提供更便捷的分析方法。

IBM 存儲產(chǎn)品營銷管理策略副總裁Ed Walsh 稱：“以往大數(shù)據(jù)是頂級大型公司才使用的工具，現(xiàn)在幾乎所有的公司都在利用大數(shù)據(jù)從數(shù)據(jù)中獲得洞察力。你最好有一個高效的存儲，否則成本將非常龐大。此外，相關(guān)的應(yīng)用也要具有良好的性能，并且能夠動態(tài)調(diào)整。”

IBM花了數(shù)年時間研發(fā)了一套包括Hadoop在內(nèi)的高性能存儲與分析產(chǎn)品，以及相關(guān)技術(shù)。IBM在去年六月份正式向市場推出了一套名為IBM智能存儲的存儲與分析產(chǎn)品。IBM還表示，這是他們首套整合了Platform Computing公司軟件的解決方案，旨在服務(wù)更多的企業(yè)客戶。IBM在2012年年初收購了技術(shù)和分布式計算管理軟件制造商Platform Computing公司。

Walsh 表示：“我們這么做的原因是因為我們擁有一套非常完整的產(chǎn)品組合。這套產(chǎn)品不再像以往那樣復(fù)雜，它們可以幫助用戶更加全面地洞察發(fā)展趨勢，讓用戶知道他們應(yīng)當(dāng)嘗試?yán)檬种械臄?shù)據(jù)做哪些工作。”

本文轉(zhuǎn)載自企業(yè)級上網(wǎng)行為信息服務(wù)平臺-網(wǎng)界網(wǎng)-CNW.com.cn
原文地址：http://www.cnw.com.cn/weekly/htm2013/20130301_264872_2.shtml

【推薦閱讀】

◆網(wǎng)管軟件專區(qū)

◆網(wǎng)絡(luò)管理維護(hù)技巧：實現(xiàn)VLAN環(huán)境下DHCP服務(wù)

◆網(wǎng)管員技巧：學(xué)會限制路由器多臺電腦上網(wǎng)

◆網(wǎng)絡(luò)管理維護(hù)技巧：路由器故障排除技巧

◆上網(wǎng)行為運(yùn)維管理專區(qū)