多管齊下縮減存儲(chǔ)空間

申請(qǐng)免費(fèi)試用、咨詢電話：400-8352-114

面對(duì)急劇增長(zhǎng)的存儲(chǔ)需求與緊縮的IT預(yù)算，最有效的解決辦法是縮減需要存儲(chǔ)的數(shù)據(jù)量，這樣不但能削減硬件、軟件、電力和數(shù)據(jù)中心場(chǎng)地的成本，還能減輕網(wǎng)絡(luò)和備份窗口的負(fù)擔(dān)?，F(xiàn)在，幾乎每家存儲(chǔ)廠商都聲稱自己有相應(yīng)的解決方案。那么，縮減數(shù)據(jù)占用空間應(yīng)該使用哪些技術(shù)？

首先我們要了解自己企業(yè)如何存儲(chǔ)和使用數(shù)據(jù)，并確定什么時(shí)候需要通過(guò)數(shù)據(jù)縮減來(lái)節(jié)省成本，即使性能因此而下降也是值得的。最適合自己企業(yè)的技術(shù)并不取決于所在行業(yè)，而是取決于所存儲(chǔ)數(shù)據(jù)的類型，如對(duì)于X光片、工程測(cè)試數(shù)據(jù)、視頻或音樂(lè)來(lái)說(shuō)，由于其中相同的數(shù)據(jù)相對(duì)少，所以，應(yīng)用重復(fù)數(shù)據(jù)刪除技術(shù)常常無(wú)法大幅節(jié)省空間，不過(guò)，重復(fù)數(shù)據(jù)刪除技術(shù)卻能對(duì)虛擬服務(wù)器大施功夫，降低成本。

重復(fù)數(shù)據(jù)刪除技術(shù)

重復(fù)數(shù)據(jù)刪除技術(shù)是指查找并刪除存儲(chǔ)在不同數(shù)據(jù)集里面的重復(fù)數(shù)據(jù)，它可將存儲(chǔ)需求最多縮減90%。比如，通過(guò)重復(fù)數(shù)據(jù)刪除技術(shù)，可以使同時(shí)發(fā)送給數(shù)百名員工的郵件的相同附件只保存一個(gè)副本。對(duì)于縮減數(shù)據(jù)占用空間比讀取速度更重要的各種二級(jí)存儲(chǔ)來(lái)說(shuō)，重復(fù)數(shù)據(jù)刪除幾乎已變得必不可少。

從事醫(yī)療廣告和營(yíng)銷的Grey Healthcare Group的IT主管Chris Watkis發(fā)現(xiàn)，備份數(shù)據(jù)的縮減比可以高達(dá)72:1，而這要?dú)w功于使用了飛康軟件公司的虛擬磁帶庫(kù)存儲(chǔ)設(shè)備的重復(fù)數(shù)據(jù)刪除方法。云存儲(chǔ)服務(wù)提供商i365的首席技術(shù)官David Allen則表示，在微軟Exchange、SharePoint、SQL Server和VMware虛擬機(jī)文件組成的混合環(huán)境下，數(shù)據(jù)縮減比可達(dá)到30:1至50:1。

數(shù)據(jù)可以在文件或塊層面進(jìn)行重復(fù)數(shù)據(jù)刪除處理，不同產(chǎn)品能夠深入分析不同大小的塊。在大多數(shù)情況下，系統(tǒng)進(jìn)行重復(fù)數(shù)據(jù)比較的粒度越細(xì)，所節(jié)省的存儲(chǔ)空間越大。不過(guò)，粒度越細(xì)，其重復(fù)數(shù)據(jù)刪除要花的時(shí)間越長(zhǎng)，因而降低了數(shù)據(jù)訪問(wèn)的速度。

重復(fù)數(shù)據(jù)刪除可以在數(shù)據(jù)寫入到存儲(chǔ)目標(biāo)前進(jìn)行操作，稱為預(yù)處理（Preprocessing）或在線處理（Inline）；也可以在數(shù)據(jù)存儲(chǔ)到目標(biāo)設(shè)備后進(jìn)行操作，稱為后處理（Postprocessing）。從事技術(shù)調(diào)研和咨詢的Server and StorageIO Group的高級(jí)分析師Greg Schulz表示，如果希望數(shù)據(jù)快速備份，更關(guān)注縮小備份窗口，那么，后處理方案比較合適；但如果你“有的是時(shí)間”，又需要節(jié)省備份磁盤，降低成本，則不妨考慮預(yù)處理方案。

批評(píng)人士稱，雖然inline方式重復(fù)數(shù)據(jù)刪除技術(shù)在縮減存儲(chǔ)的數(shù)據(jù)量時(shí)，其縮減比可達(dá)到約20:1，但它不具有擴(kuò)展性，還會(huì)降低性能，迫使用戶購(gòu)買更多的服務(wù)器來(lái)執(zhí)行重復(fù)數(shù)據(jù)刪除。另外，后處理重復(fù)數(shù)據(jù)刪除則需要更多的存儲(chǔ)空間作為緩沖區(qū)，而使這部分空間無(wú)法用于其他需要。

對(duì)于擁有多臺(tái)服務(wù)器或多個(gè)存儲(chǔ)平臺(tái)的客戶來(lái)說(shuō)，全企業(yè)實(shí)行重復(fù)數(shù)據(jù)刪除可消除存儲(chǔ)在各平臺(tái)上的重復(fù)數(shù)據(jù)副本，從而節(jié)省費(fèi)用。基于磁盤的存儲(chǔ)廠商N(yùn)exsan公司戰(zhàn)略副總裁Randy Chalfant認(rèn)為這很重要，因?yàn)榇蠖鄶?shù)企業(yè)為同一數(shù)據(jù)生成的副本多達(dá)15個(gè)，以供數(shù)據(jù)挖掘、企業(yè)資源規(guī)劃和客戶關(guān)系管理等應(yīng)用系統(tǒng)使用。用戶可能還需要考慮使用單一重復(fù)數(shù)據(jù)刪除系統(tǒng)，以便任何應(yīng)用或用戶更容易根據(jù)需要“還原”數(shù)據(jù)（讓數(shù)據(jù)恢復(fù)原來(lái)形狀），并且避免多個(gè)系統(tǒng)不兼容問(wèn)題。

高級(jí)分析師Greg Schulz則表示，主要的重復(fù)數(shù)據(jù)刪除產(chǎn)品可在預(yù)處理模式下進(jìn)行操作，直到遇到一定的性能閾值，之后再改用后處理模式。

另外還有一種方案，即基于策略的重復(fù)數(shù)據(jù)刪除，它允許存儲(chǔ)管理人員根據(jù)文件的大小、重要性或其他標(biāo)準(zhǔn)，選擇哪些文件進(jìn)行重復(fù)數(shù)據(jù)刪除處理。

SFL Data專門為要打官司的公司企業(yè)和律師事務(wù)所收集、存儲(chǔ)、檢索、搜索及提供數(shù)據(jù)，它在性能與數(shù)據(jù)縮減之間找到了平衡點(diǎn)。該公司正在部署Ocarina Networks的2400存儲(chǔ)優(yōu)化器，以便以“近在線（near-online）”的方式將經(jīng)過(guò)壓縮和重復(fù)數(shù)據(jù)刪除處理的文件存儲(chǔ)在BlueArc Mercury 50集群上，該集群的可用容量最多可以擴(kuò)展到2PB。當(dāng)用戶需要時(shí)，還可以還原那些文件。

SFL公司的技術(shù)主管Ruth Townsend說(shuō)：“還原文件導(dǎo)致訪問(wèn)時(shí)間有點(diǎn)減慢，但比告訴客戶必須等兩天才能訪問(wèn)那些文件要好多了?！彼赋?，該公司借助重復(fù)數(shù)據(jù)刪除和文件壓縮技術(shù)，省下了多達(dá)50%的存儲(chǔ)空間。

數(shù)據(jù)壓縮

壓縮大概是最有名的數(shù)據(jù)縮減技術(shù)了，它是指查找并刪除重復(fù)字節(jié)。它非常適用于數(shù)據(jù)庫(kù)、電子郵件和文件，但是對(duì)圖片來(lái)說(shuō)效果則不太好。壓縮技術(shù)內(nèi)置在一些存儲(chǔ)系統(tǒng)中，但也有獨(dú)立的壓縮軟件或壓縮設(shè)備。

高級(jí)分析師Greg Schulz表示，實(shí)時(shí)壓縮技術(shù)不需要數(shù)據(jù)在改動(dòng)或讀取之前先解壓，所以不會(huì)導(dǎo)致訪問(wèn)延遲或性能降低，很適合像數(shù)據(jù)庫(kù)和聯(lián)機(jī)事務(wù)處理這些聯(lián)機(jī)應(yīng)用?，F(xiàn)代多核處理器具有的計(jì)算能力也讓基于服務(wù)器的壓縮成為有些環(huán)境的一種選擇。

i365公司的Allen說(shuō)，壓縮效果好壞不一。針對(duì)SQL數(shù)據(jù)庫(kù)，數(shù)據(jù)縮減比至少可以達(dá)到6:1；但針對(duì)文件服務(wù)器，縮減比則接近2:1。據(jù)飛康公司營(yíng)銷副總裁Fadi Albatal聲稱，壓縮技術(shù)對(duì)備份、二級(jí)存儲(chǔ)或三級(jí)存儲(chǔ)最有效，針對(duì)“高度活躍”的數(shù)據(jù)庫(kù)或電子郵件應(yīng)用，可以把存儲(chǔ)需求縮減到1/2或1/4。

信息管理服務(wù)公司Iron Mountain的首席營(yíng)銷官T.M. Ravi表示，該公司對(duì)應(yīng)用進(jìn)行歸檔時(shí)，壓縮和重復(fù)數(shù)據(jù)刪除這兩項(xiàng)技術(shù)可將存儲(chǔ)空間最多縮減80%。

IBM收購(gòu)的Storwize公司主要是為了對(duì)主存儲(chǔ)進(jìn)行壓縮。該公司的設(shè)備可將壓縮文件寫回到生成這些文件的NAS（網(wǎng)絡(luò)附加存儲(chǔ)）設(shè)備上，或?qū)懙搅硪粋€(gè)存儲(chǔ)層上。IBM存儲(chǔ)部門副總裁Doug Balog說(shuō)，Storwize正在測(cè)試一款基于塊的設(shè)備。

由微軟Office應(yīng)用軟件壓縮的文件或JPEG等流行的圖片格式無(wú)法用許多常用的壓縮技術(shù)來(lái)縮減，壓縮后文件大小甚至可能變大。Neuxpower Solutions公司聲稱，其軟件可以刪除不必要的信息，如元數(shù)據(jù)或只有圖片放大后才看得清的細(xì)節(jié)，從而把Office和JPEG文件的大小最多縮減95%，圖片質(zhì)量并不下降。被戴爾收購(gòu)的Ocarina公司則稱，其產(chǎn)品提供了類似功能，因?yàn)樗玫亩喾N優(yōu)化算法已針對(duì)不同類型的內(nèi)容進(jìn)行了調(diào)整，還能夠測(cè)試多種壓縮方法，并選擇一種合適的方法，確保運(yùn)行時(shí)效率最高。

重復(fù)數(shù)據(jù)刪除和壓縮是互為補(bǔ)充的。Greg Schulz說(shuō)：“如果關(guān)注的重點(diǎn)是速度、性能和傳輸速度，那就使用壓縮技術(shù)；如果存在大量的冗余數(shù)據(jù)，又希望節(jié)省更多的存儲(chǔ)空間，那就使用重復(fù)數(shù)據(jù)刪除技術(shù)。”

基于策略的分層

基于策略的分層是指，根據(jù)數(shù)據(jù)年限、訪問(wèn)頻繁程度或提取速度等制定相應(yīng)的標(biāo)準(zhǔn)，把數(shù)據(jù)轉(zhuǎn)移到不同類別的存儲(chǔ)介質(zhì)上。除非策略要求完全刪除不需要的數(shù)據(jù)，否則這項(xiàng)技術(shù)不會(huì)降低總體存儲(chǔ)需求，但由于把部分?jǐn)?shù)據(jù)轉(zhuǎn)移到成本較低但速度較慢的介質(zhì)上了，所以能夠削減成本。

這個(gè)市場(chǎng)得到了一些廠商的關(guān)注，如惠普和DataGlobal公司。惠普在其StorageWorks X9000中提供了內(nèi)置的策略管理和自動(dòng)化文件遷移功能；DataGlobal則聲稱，其統(tǒng)一存儲(chǔ)和信息管理軟件讓客戶能夠分析及管理非結(jié)構(gòu)化文件及其他信息，因而能夠?qū)㈦娮余]件的存儲(chǔ)需求減少60%至70%，將文件服務(wù)器的存儲(chǔ)需求減少約20%。

具有分層功能的其他產(chǎn)品包括：Compellent Technologies公司的Storage Center 5、飛康的HotZone和SafeCache、3Par公司的Policy Advisor、EMC的FAST和F5 Networks公司的ARX系列文件虛擬化設(shè)備。

存儲(chǔ)虛擬化

與服務(wù)器虛擬化一樣，存儲(chǔ)虛擬化指把多個(gè)存儲(chǔ)設(shè)備“抽象”成單一存儲(chǔ)池，以便管理員可根據(jù)需要，在各存儲(chǔ)層之間轉(zhuǎn)移數(shù)據(jù)。許多專家認(rèn)為，存儲(chǔ)虛擬化是一項(xiàng)支持性技術(shù)，而其本身并不是一種數(shù)據(jù)縮減技術(shù)；但也有另一些專家認(rèn)為，它與數(shù)據(jù)縮減有著更直接的關(guān)系。

Actifio公司的數(shù)據(jù)管理系統(tǒng)使用了虛擬化，以便使備份和災(zāi)難恢復(fù)等操作不需要多個(gè)應(yīng)用程序。其設(shè)備讓客戶可以選擇合適的服務(wù)級(jí)別協(xié)議，以便通過(guò)一系列模板來(lái)管理眾多的數(shù)據(jù)集。借助這個(gè)方法，適當(dāng)?shù)墓芾聿呗噪S后可運(yùn)用到數(shù)據(jù)的惟一副本上，比如定義數(shù)據(jù)副本存儲(chǔ)在何處、在備份和復(fù)制等操作期間如何進(jìn)行重復(fù)數(shù)據(jù)刪除處理。該公司的聯(lián)合創(chuàng)辦人兼首席執(zhí)行官Ash Ashutosh聲稱，Actifio可將存儲(chǔ)需求縮減75%至90%。

自動(dòng)精簡(jiǎn)配置

自動(dòng)精簡(jiǎn)配置是指對(duì)于一項(xiàng)應(yīng)用，系統(tǒng)會(huì)在磁盤上為該應(yīng)用分配一定量的空間，但實(shí)際上只有應(yīng)用需要時(shí)，才真正使用這部分空間。與基于策略的存儲(chǔ)一樣，這項(xiàng)技術(shù)并不縮減總的數(shù)據(jù)占用空間，但可以推遲購(gòu)買更多磁盤的需要，只有絕對(duì)必要時(shí)才購(gòu)買。

i365公司的Allen表示，如果存儲(chǔ)需求迅速增長(zhǎng)，你必須“非常迅速地響應(yīng)”，確保有足夠的物理存儲(chǔ)空間。你的需求越難預(yù)測(cè)，就越需要好的衡量和管理工具，如果采用自動(dòng)精簡(jiǎn)配置的話。高級(jí)分析師Greg Schulz建議，應(yīng)該尋求這樣一種產(chǎn)品：可確認(rèn)用戶需要跟蹤了解的數(shù)據(jù)和應(yīng)用程序；不但能監(jiān)測(cè)存儲(chǔ)空間的使用情況，還能監(jiān)測(cè)讀寫操作，以防出現(xiàn)瓶頸。

IBM是這個(gè)市場(chǎng)的代表廠商，它將自動(dòng)精簡(jiǎn)配置技術(shù)運(yùn)用到了其所有存儲(chǔ)控制器中?；萜赵谄銹4000 SAN上也提供了自動(dòng)精簡(jiǎn)配置技術(shù)，它收購(gòu)的3Par可確保其Utility Storage產(chǎn)品會(huì)將客戶的存儲(chǔ)需求縮減50%。Nexsan公司的SATABeast陣列也提供了自動(dòng)精簡(jiǎn)配置。

在選擇一項(xiàng)數(shù)據(jù)縮減策略之前，要制定好策略，以便有助于選擇何時(shí)投入成本，以提升性能；何時(shí)通過(guò)縮減數(shù)據(jù)占用空間來(lái)省錢。切忌一味關(guān)注縮減比，而是要牢記：如果縮減比比較小，但數(shù)據(jù)集比較大，則有望節(jié)省更多空間。

另外，不要被廠商的術(shù)語(yǔ)搞得一頭霧水。壓縮、重復(fù)數(shù)據(jù)刪除、變更數(shù)據(jù)備份（change-only backups）和單實(shí)例存儲(chǔ)都是縮減冗余數(shù)據(jù)的不同方式而已。如果有疑慮，應(yīng)根據(jù)給業(yè)務(wù)帶來(lái)的成效，詳細(xì)分析數(shù)據(jù)結(jié)果，以選擇合適的存儲(chǔ)縮減工具。