三大熱門數(shù)據(jù)存儲(chǔ)技術(shù)的類比分析

申請(qǐng)免費(fèi)試用、咨詢電話：400-8352-114

由于存儲(chǔ)經(jīng)理們急需降低備份數(shù)據(jù)量，重復(fù)數(shù)據(jù)刪除(data de-duplicantion)技術(shù)從而成為近來十分熱門的技術(shù)。但是大家對(duì)于重復(fù)數(shù)據(jù)刪除技術(shù)的基本概念卻知之甚少，經(jīng)常把重復(fù)數(shù)據(jù)刪除技術(shù)、壓縮算法技術(shù)和單一實(shí)例存儲(chǔ)技術(shù)混為一談。

在本篇文章中，我們將會(huì)從多方面探討重復(fù)數(shù)據(jù)刪除技術(shù)，并澄清以下問題：

什么是重復(fù)數(shù)據(jù)刪除技術(shù)？ 為什么該技術(shù)適合備份應(yīng)用？

重復(fù)數(shù)據(jù)刪除技術(shù)的重大意義及其客戶價(jià)值

影響重復(fù)數(shù)據(jù)刪除效率因素

與傳統(tǒng)數(shù)據(jù)壓縮技術(shù)比較，有哪些不同之處？

對(duì)比單一實(shí)例存儲(chǔ)技術(shù)，它的優(yōu)勢又在哪里？

什么是重復(fù)數(shù)據(jù)刪除技術(shù)？

按照ESG(Enterprise Strategy Group)的定義，重復(fù)數(shù)據(jù)刪除技術(shù)是一個(gè)減少或消除冗余文件、字節(jié)或數(shù)據(jù)塊的過程，從而確保只有“獨(dú)一無二”的數(shù)據(jù)被存儲(chǔ)到磁盤。重復(fù)數(shù)據(jù)刪除技術(shù)又被業(yè)界稱為容量優(yōu)化保護(hù)技術(shù)（簡稱為COP技術(shù)）。COP技術(shù)被用來降低數(shù)據(jù)保護(hù)時(shí)對(duì)容量的需求。

由于我們存儲(chǔ)的數(shù)據(jù)具有很高的共性——用戶之間、服務(wù)器之間甚至同一文件（如Office文檔）的內(nèi)容是通用的。重復(fù)數(shù)據(jù)刪除技術(shù)按自然邊界把數(shù)據(jù)拆分為非常細(xì)粒度的子塊單元，用指針代替相同的子塊單元，從而達(dá)到顯著降低存儲(chǔ)空間的目的。利用重復(fù)數(shù)據(jù)刪除技術(shù)，1TB的備份數(shù)據(jù)可根據(jù)備份數(shù)據(jù)的共性，存儲(chǔ)為300-700GB不等。

重復(fù)數(shù)據(jù)刪除技術(shù)的真正價(jià)值在于處理已存儲(chǔ)過的數(shù)據(jù)，特別是以下情況：

• 從不同的服務(wù)器備份相同的數(shù)據(jù)（公用操作系統(tǒng)文件、應(yīng)用程序文件甚至電子郵件和附件）

• 大部分內(nèi)容為“靜止”的“活躍”數(shù)據(jù)，例如數(shù)據(jù)庫、文檔、電子表格和演示文稿

• 已備份過一次的數(shù)據(jù)

最值得注意的是最后一種類別。由于備份操作具有高重復(fù)性的特征，日備份和周備份的數(shù)據(jù)大致相同，變化率至多只有5-10%。因此，可以利用數(shù)據(jù)重復(fù)刪除技術(shù)進(jìn)行高效的后續(xù)備份。特別是針對(duì)完全備份的應(yīng)用場景，如果每天都做完全備份，在這種情形下，每月實(shí)現(xiàn)10:1到50:1的備份比率是完全可能的。

重復(fù)數(shù)據(jù)刪除技術(shù)的重大意義？

重復(fù)數(shù)據(jù)刪除技術(shù)的客戶價(jià)值是多方面的，但是最顯著的優(yōu)點(diǎn)是解決了一直困擾備份恢復(fù)業(yè)界多年的“容量膨脹”問題，因?yàn)橹貜?fù)數(shù)據(jù)刪除技術(shù)可以在后端大為減少備份數(shù)據(jù)量。

見下圖圖示：該圖中以相同顏色的塊表示重復(fù)數(shù)據(jù)塊。重復(fù)數(shù)據(jù)刪除的效率取決于應(yīng)用和數(shù)據(jù)類型，就像圖示中具有相同顏色的塊除保留一個(gè)外，其余的都會(huì)被過濾掉。

重復(fù)數(shù)據(jù)刪除的處理粒度越細(xì)，則重復(fù)數(shù)據(jù)刪除的效率越高。一般的重復(fù)數(shù)據(jù)刪除是在文件級(jí)實(shí)現(xiàn)的，雖然有減少備份數(shù)據(jù)的作用但其效率明顯不如在字節(jié)級(jí)實(shí)現(xiàn)的重復(fù)數(shù)據(jù)刪除技術(shù)。同樣，在塊級(jí)實(shí)現(xiàn)的重復(fù)數(shù)據(jù)刪除比字節(jié)級(jí)實(shí)現(xiàn)的效率更高。

我們通過以下的例子來說明處理粒度對(duì)重復(fù)數(shù)據(jù)刪除技術(shù)而言的重要性：我們創(chuàng)建一個(gè)1MB的PPT演示文檔，然后通過電子郵件將其發(fā)送給20位員工，在傳統(tǒng)的備份環(huán)境中，由于沒有重復(fù)數(shù)據(jù)刪除技術(shù)，每天晚上執(zhí)行全備份作業(yè)時(shí)，這20位員工所接收到的PPT演示文檔將作為郵件附件備份，即使沒有一位員工對(duì)收到的PPT演示文檔做過任何修改，備份作業(yè)同樣要保存20份相同的文檔，占用相當(dāng)大的存儲(chǔ)空間（20x1MB）。即使在一家小型企業(yè)組織，同樣的問題仍然會(huì)使浪費(fèi)寶貴的磁盤空間、能耗和冷卻系統(tǒng)。

在上例中，如果采用文件級(jí)的重復(fù)數(shù)據(jù)刪除技術(shù)，系統(tǒng)會(huì)只保留一份PPT演示文檔，而其他19份相同的PPT演示文檔附件將被指針代替。而指針的數(shù)據(jù)量比實(shí)際的文檔要小得多，所以我們可以節(jié)省大量的磁盤空間，用來存儲(chǔ)其他應(yīng)用數(shù)據(jù)或者提高備份數(shù)據(jù)的保留周期。

基于字節(jié)級(jí)和塊級(jí)的重復(fù)數(shù)據(jù)刪除技術(shù)作了進(jìn)一步的優(yōu)化，它將1MB的PPT演示文檔看成是由很多的數(shù)據(jù)塊或字節(jié)單元組合而成，與已經(jīng)存儲(chǔ)的數(shù)據(jù)塊或字節(jié)單元進(jìn)行比較，相同的組成單元被指針替換。

除了處理粒度之外，影響重復(fù)數(shù)據(jù)刪除比的因素還有數(shù)據(jù)類型、數(shù)據(jù)的變化率以及數(shù)據(jù)的保留時(shí)間等等，這些都會(huì)影響實(shí)際的重復(fù)數(shù)據(jù)刪除效率。根據(jù)ESG實(shí)驗(yàn)室對(duì)幾種不同的重復(fù)數(shù)據(jù)技術(shù)的測試結(jié)果來看，在不考慮處理粒度的情況下，基本上都能達(dá)到10倍或20倍的重復(fù)數(shù)據(jù)刪除效率。

備份的最終目的是恢復(fù)，以往備份管理員在制定備份策略時(shí)，通常采用每天增量備份方式結(jié)合階段全備份方式，如每月或每周全備份。從恢復(fù)速度的角度出發(fā)，哪一種備份方式更有利呢？顯然是全備份方式(full backup)，那為什么90%以上的備份管理員還在使用增量備份呢？原因是由于一次全備份的數(shù)據(jù)量太大，無法滿足日益苛刻的備份窗口要求，完全屬于不得已而為之。現(xiàn)在是采用完全備份模式的時(shí)候了，由于完全備份模式的數(shù)據(jù)塊重復(fù)率是所有備份模式中最高的，所以重復(fù)數(shù)據(jù)刪除技術(shù)非常適合完全備份的場合，因?yàn)樗軌蝻@著降低每次完全備份的實(shí)際存儲(chǔ)的數(shù)據(jù)塊數(shù)量，從而使用戶能在短暫的備份窗口期間完成關(guān)鍵作業(yè)的備份，在需要恢復(fù)時(shí)，又能較快地恢復(fù)出保留周期內(nèi)任意一天的數(shù)據(jù)。

在部署備份和恢復(fù)的普通磁盤時(shí)，經(jīng)濟(jì)因素限制了從磁帶上卸載并轉(zhuǎn)存到磁盤的數(shù)據(jù)量。使用數(shù)據(jù)重復(fù)刪除技術(shù)，在相同的磁盤空間內(nèi)，以前只能保存最近一周的數(shù)據(jù)，現(xiàn)在可以存儲(chǔ)一個(gè)月或更長時(shí)間的數(shù)據(jù)，因此大大增強(qiáng)了恢復(fù)選項(xiàng)。

這一優(yōu)勢使 IT 部門能夠成本有效地在磁盤上保留數(shù)月的備份數(shù)據(jù)，適合從 250GB 到超過 10TB 的主數(shù)據(jù)集。其結(jié)果可以實(shí)現(xiàn)更快、更可靠的恢復(fù)，并能大幅度增加數(shù)據(jù)恢復(fù)點(diǎn)的數(shù)量。

什么是單一實(shí)例存儲(chǔ)技術(shù)？

如果當(dāng)存儲(chǔ)的裝置里面有很多的數(shù)據(jù)或文件，它是相同的內(nèi)容而且是重復(fù)的時(shí)候，用戶往往會(huì)浪費(fèi)大量的磁盤空間，這對(duì)于用戶來講是很高的管理成本和使用成本，單一實(shí)例存儲(chǔ)這個(gè)技術(shù)就會(huì)幫用戶解決管理問題和大量的節(jié)省存儲(chǔ)的空間。SIS被啟用后，就會(huì)作為一個(gè)后臺(tái)的服務(wù)運(yùn)行，把內(nèi)容重復(fù)的文件合并到一個(gè)共用的存儲(chǔ)空間。重復(fù)的文件被該文件的鏈接替代，對(duì)于用戶和應(yīng)用程序來講就像原始文件一樣。SIS技術(shù)已經(jīng)實(shí)施于大型企業(yè)環(huán)境，并極大的節(jié)約了重復(fù)文件占用的磁盤空間，從而最大限度地利用目前的存儲(chǔ)資源。Single Instance Storage (SIS) 通過減少冗余數(shù)據(jù)釋放更多的磁盤空間，識(shí)別相同的文件，僅僅在中心位置保存一個(gè)副本，并在SIS公共存儲(chǔ)區(qū)域保存文件的指針而不是保存文件本身。

數(shù)據(jù)重復(fù)刪除技術(shù)如何打包？

數(shù)據(jù)重復(fù)刪除技術(shù)集成在昆騰的DXi系列設(shè)備中，在后臺(tái)為現(xiàn)有備份流程提供支持。用戶繼續(xù)使用現(xiàn)有備份軟件和策略，他們察覺不到重復(fù)刪除的過程；存儲(chǔ)的數(shù)據(jù)也因此增加了10到50倍。

重復(fù)數(shù)據(jù)刪除處理的數(shù)據(jù)種類越多，容量減少就越大?？傮w來看，文件級(jí)的重復(fù)數(shù)據(jù)刪除雖然有效，但其檢測的重復(fù)數(shù)據(jù)要少于塊級(jí)或字節(jié)級(jí)的重復(fù)數(shù)據(jù)刪除。同樣，字節(jié)級(jí)重復(fù)數(shù)據(jù)刪除在檢測數(shù)據(jù)重復(fù)上比塊級(jí)的重復(fù)數(shù)據(jù)刪除通常更有效。

下面例子是說明在粒度上的差別：某終端用戶制作了1MB的PowerPoint演示文檔，然后以郵件附件形式發(fā)給內(nèi)部20個(gè)人審閱。在傳統(tǒng)備份環(huán)境下（沒有重復(fù)數(shù)據(jù)刪除），雖然文件沒有任何變化，但每個(gè)附件都會(huì)在每晚完全備份過程中被全部備份，耗費(fèi)不必要的磁盤容量（20×1MB）。即使是小公司，考慮到磁盤物理容量、功率和冷卻等情況，此冗余成本也頗為可觀。

然而，文件級(jí)重復(fù)數(shù)據(jù)刪除只保存一份PowerPoint文檔備份，所有其他附件（如重復(fù)的拷貝）都被“指針”替代，從而釋放磁盤空間容量，并在客戶需要的情況下延長保留時(shí)長。

更多粒度的重復(fù)刪除方法—塊級(jí)和字節(jié)級(jí)重復(fù)數(shù)據(jù)刪除技術(shù)將此流程推進(jìn)了一步。這些方法查看構(gòu)成新1MB文件的每個(gè)片段，與重復(fù)數(shù)據(jù)刪除系統(tǒng)先前遇到的元素相比較，在新文件中用指針替代重復(fù)元素，而不用重新存儲(chǔ)。（e-works）