重復(fù)數(shù)據(jù)刪除馳騁主存儲(chǔ)

申請(qǐng)免費(fèi)試用、咨詢電話：400-8352-114

主存儲(chǔ)的重復(fù)數(shù)據(jù)刪除

在虛擬磁帶庫(kù)、備份、歸檔等二級(jí)存儲(chǔ)系統(tǒng)應(yīng)用中，重復(fù)數(shù)據(jù)刪除、壓縮等數(shù)據(jù)縮減或容量?jī)?yōu)化方法很常見(jiàn)，也很好用。二級(jí)存儲(chǔ)系統(tǒng)因采用這些方法而獲得了降低成本（或至少推遲采購(gòu)）和節(jié)能的好處。不過(guò)，現(xiàn)在主存儲(chǔ)系統(tǒng)也可以獲得同樣的好處了，表現(xiàn)最顯著的是NAS服務(wù)器。

不過(guò)在開(kāi)始評(píng)估各種選擇之前，就數(shù)據(jù)縮減而言，很重要的一點(diǎn)是，要注意主存儲(chǔ)系統(tǒng)和二級(jí)存儲(chǔ)系統(tǒng)需求間的差別，其主要差別是性能要求不同。

曾在市場(chǎng)研究與咨詢公司Janeja Group任高級(jí)分析師兼顧問(wèn)的Eric Burgener表示:“主存儲(chǔ)系統(tǒng)優(yōu)化（PSO）和二級(jí)存儲(chǔ)系統(tǒng)優(yōu)化（SSO）的關(guān)鍵差別在于，對(duì)訪問(wèn)時(shí)延的要求不同。主存儲(chǔ)系統(tǒng)的訪問(wèn)時(shí)延要求一般比二級(jí)存儲(chǔ)系統(tǒng)嚴(yán)格得多。”

存儲(chǔ)優(yōu)化處理確實(shí)引起了時(shí)延，不過(guò)不同的解決方案已經(jīng)最大限度地減少或消除了對(duì)性能的影響。

Burgener說(shuō):“與二級(jí)存儲(chǔ)系統(tǒng)相比，主存儲(chǔ)系統(tǒng)中的數(shù)據(jù)冗余低得多，因此一般情況下人們會(huì)發(fā)現(xiàn)，主存儲(chǔ)系統(tǒng)的壓縮比也低得多，而注意到這一點(diǎn)很重要?！?/P>

不過(guò)，他說(shuō)，對(duì)于主存儲(chǔ)系統(tǒng)數(shù)據(jù)壓縮和重復(fù)數(shù)據(jù)刪除引起的性能問(wèn)題，一些廠商正在想辦法解決。他認(rèn)為，用戶應(yīng)該理解，8∶1和20∶1的數(shù)據(jù)縮減比之間沒(méi)有很大的不同。

在二級(jí)存儲(chǔ)系統(tǒng)上進(jìn)行數(shù)據(jù)縮減，可能獲得20:1或更高的容量?jī)?yōu)化率，而在主存儲(chǔ)系統(tǒng)上進(jìn)行數(shù)據(jù)縮減，一般只能獲得一位數(shù)的容量?jī)?yōu)化率（盡管根據(jù)廠商解決方案和數(shù)據(jù)類型的不同而不同，這個(gè)比率變化很大）。不過(guò)，因?yàn)樗枞萘康臏p少發(fā)生在昂貴的主存儲(chǔ)系統(tǒng)上，所以，即使3:1的數(shù)據(jù)縮減比也可能帶來(lái)極大的成本節(jié)省，例如，僅為2∶1或3∶1的比率就可能分別將所需容量降低50%或66%。

對(duì)二級(jí)存儲(chǔ)系統(tǒng)進(jìn)行數(shù)據(jù)縮減有各種不同的方法，這些方法之間存在差別，如果比較一下廠商們對(duì)主存儲(chǔ)系統(tǒng)采用的數(shù)據(jù)縮減方法就會(huì)發(fā)現(xiàn)，其差別情況與二級(jí)存儲(chǔ)系統(tǒng)類似。例如，有些廠商使用在線（in-line）數(shù)據(jù)縮減的方法（在數(shù)據(jù)寫(xiě)入磁盤(pán)之前進(jìn)行容量?jī)?yōu)化，有時(shí)是實(shí)時(shí)的），而其他一些廠商則使用后處理（post-processing）方法（即數(shù)據(jù)存儲(chǔ)到磁盤(pán)上以后，再進(jìn)行數(shù)據(jù)縮減）。

Burgener表示，一般來(lái)說(shuō)，in-line方法需要較少的原始數(shù)據(jù)存儲(chǔ)容量，但是處理速度可能是個(gè)問(wèn)題，因?yàn)閼?yīng)用性能可能受到負(fù)面影響。后處理方法一般不會(huì)引起可能影響應(yīng)用性能的附加時(shí)延，但是，這種方法確實(shí)需要更多的存儲(chǔ)容量，究竟要多多少，取決于需要多長(zhǎng)時(shí)間才能將數(shù)據(jù)處理成容量?jī)?yōu)化形式。

IDC公司存儲(chǔ)軟件研究經(jīng)理Noemi Greyzdorf表示: “in-line與后處理容量?jī)?yōu)化方法的優(yōu)點(diǎn)和缺點(diǎn)取決于你采用的方法，以及所采用的方法對(duì)讀/寫(xiě)性能和附加容量需求的影響?！?/P>

另外，有些廠商采用“通用（generic）”算法（對(duì)所有類型的數(shù)據(jù)都采用相同的算法），而Ocarina Networks公司則針對(duì)特定類型的文件，如: jpeg、tiff等，采用“內(nèi)容識(shí)別”算法。

影響數(shù)據(jù)縮減的關(guān)鍵因素

數(shù)據(jù)縮減這種技術(shù)首次出現(xiàn)時(shí)，最終用戶并不愿意采用，因?yàn)樗麄儞?dān)心性能降低（吞吐量和/或時(shí)延）、數(shù)據(jù)可用性和可靠性問(wèn)題。在主存儲(chǔ)系統(tǒng)應(yīng)用環(huán)境中，這些擔(dān)憂更加重了，因?yàn)樾阅堋⒖捎眯院涂煽啃栽谥鞔鎯?chǔ)系統(tǒng)中要關(guān)鍵得多。

不過(guò)，廠商們的技術(shù)研發(fā)已經(jīng)大大減輕了這些擔(dān)憂。盡管數(shù)據(jù)縮減這種技術(shù)可能引起時(shí)延，但是一般情況下，已經(jīng)最大限度地降低了時(shí)延（在讀數(shù)據(jù)時(shí)降至幾毫秒），對(duì)很多應(yīng)用來(lái)說(shuō)，時(shí)延也許不是個(gè)問(wèn)題了，而且所有廠商都已經(jīng)提高了吞吐速度。

通過(guò)先進(jìn)的數(shù)據(jù)指紋和混編算法、字節(jié)級(jí)驗(yàn)證、校驗(yàn)和以及其他方法，大多數(shù)廠商可保證數(shù)據(jù)可靠性（即檢索出的容量?jī)?yōu)化數(shù)據(jù)與原來(lái)的數(shù)據(jù)完全相同）。數(shù)據(jù)可用性問(wèn)題也已經(jīng)解決，在有些情況下，是通過(guò)采用數(shù)據(jù)縮減專用設(shè)備解決的，這些設(shè)備均以鏡像配對(duì)形式配置。

IDC公司的Greyzdorf說(shuō): “對(duì)于主存儲(chǔ)系統(tǒng)數(shù)據(jù)縮減而言，很多用戶仍在設(shè)法了解不同的方法，因?yàn)樗麄儽仨毚_保不丟失數(shù)據(jù)?！?/P>

有些最終用戶正在計(jì)劃評(píng)估主存儲(chǔ)系統(tǒng)數(shù)據(jù)縮減方法，對(duì)他們來(lái)說(shuō)，倒是有一個(gè)好消息—數(shù)據(jù)縮減技術(shù)領(lǐng)域的廠商數(shù)量相對(duì)較少，而且這些廠商大多數(shù)都提供工具軟件，以供用戶了解對(duì)于特定的數(shù)據(jù)集來(lái)說(shuō)，能夠?qū)崿F(xiàn)多高的容量?jī)?yōu)化率（盡管在這個(gè)問(wèn)題上，分析師們?nèi)匀唤ㄗh要了解一下廠商提供的參考客戶的情況）。

對(duì)于主存儲(chǔ)系統(tǒng)數(shù)據(jù)縮減來(lái)說(shuō)，盡管在各種不同的方法之間有可能進(jìn)行一些“蘋(píng)果對(duì)蘋(píng)果”的比較，但是大部分比較是 “蘋(píng)果對(duì)橘子”的性質(zhì)，因?yàn)榻鉀Q方案差異很大。不過(guò)，目標(biāo)是相同的: 降低/優(yōu)化所需容量，這反過(guò)來(lái)又可極大地節(jié)省成本以及降低空間、功耗和冷卻要求。

主要廠商及特點(diǎn)

以下簡(jiǎn)要介紹一下在主存儲(chǔ)系統(tǒng)數(shù)據(jù)縮減領(lǐng)域有哪些主要廠商，以及在分析師的眼中，這些廠商主要的與眾不同之處。

NetApp

NetApp也許是重復(fù)數(shù)據(jù)刪除領(lǐng)域最熱衷的支持者，該公司交付了大量具有重復(fù)數(shù)據(jù)刪除功能（用后處理方法實(shí)現(xiàn)）的系統(tǒng)，堪稱數(shù)據(jù)縮減市場(chǎng)上的領(lǐng)導(dǎo)者。該公司稱，已經(jīng)交付了3.7萬(wàn)多個(gè)具有重復(fù)數(shù)據(jù)刪除功能的系統(tǒng)。當(dāng)然，問(wèn)題是，實(shí)際上有多少客戶在使用NetApp的重復(fù)數(shù)據(jù)刪除功能。

NetApp公司存儲(chǔ)效率高級(jí)市場(chǎng)經(jīng)理Larry Freeman的答案是，客戶至少正在使用1.5萬(wàn)個(gè)系統(tǒng)的重復(fù)數(shù)據(jù)刪除功能，NetApp可以通過(guò)自動(dòng)支持功能跟蹤使用情況。據(jù)Freeman估計(jì)，在這些系統(tǒng)中，“大約有60%正在對(duì)至少一個(gè)主存儲(chǔ)系統(tǒng)應(yīng)用進(jìn)行重復(fù)數(shù)據(jù)刪除?！?/P>

NetApp在其Data ONTAP操作系統(tǒng)中免費(fèi)集成了重復(fù)數(shù)據(jù)刪除技術(shù)，因此，該公司所有平臺(tái)，例如FAS、V-Series、VTL等，都可提供重復(fù)數(shù)據(jù)刪除功能。另外，通過(guò)V-Series虛擬化網(wǎng)關(guān)，NetApp還可以在競(jìng)爭(zhēng)對(duì)手的磁盤(pán)陣列上進(jìn)行重復(fù)數(shù)據(jù)刪除，其中包括EMC、惠普、日立數(shù)據(jù)系統(tǒng)和IBM的陣列。NetApp還保證，在虛擬服務(wù)器環(huán)境中，第三方磁盤(pán)所需容量可減少35%。

與這一領(lǐng)域的其他廠商類似，NetApp專注于虛擬服務(wù)器環(huán)境，在這類環(huán)境中，重復(fù)數(shù)據(jù)刪除比率可以相對(duì)高一些。Freeman說(shuō)，實(shí)際上在VMware環(huán)境中，典型情況下大約可以節(jié)省70%的容量。

EMC

今年早些時(shí)候，EMC宣布，其Celerra NS系列NAS平臺(tái)支持重復(fù)數(shù)據(jù)刪除和數(shù)據(jù)壓縮（該系列平臺(tái)也支持光纖通道和iSCSI）。EMC的重復(fù)數(shù)據(jù)刪除技術(shù)名為EMC Data Deduplication，集成在Celerra Manager軟件中，并基于EMC的Avamar（用于重復(fù)數(shù)據(jù)刪除）和RecoverPoint（用于壓縮）技術(shù)。EMC的數(shù)據(jù)縮減功能免費(fèi)提供。

EMC稱，其重復(fù)數(shù)據(jù)刪除技術(shù)可以將所需文件系統(tǒng)容量降低多達(dá)50%。德國(guó)的Karlsruhe Institute of Technology是其早期采用者，其主存儲(chǔ)系統(tǒng)數(shù)據(jù)量降低了25%。

對(duì)于虛擬服務(wù)器環(huán)境來(lái)說(shuō)，EMC的重復(fù)數(shù)據(jù)刪除技術(shù)可與該公司的VMware View一起使用， VMware View是一個(gè)vCenter插件。

最近，EMC又宣布，與Ocarina Networks就產(chǎn)品與技術(shù)整合建立合作關(guān)系。

Ocarina

除了EMC，Ocarina還與BlueArc、惠普、Isilon、日立數(shù)據(jù)系統(tǒng)、Nirvanix等廠商有合作關(guān)系。

按照Ocarina公司首席執(zhí)行官M(fèi)urli Thirumale的說(shuō)法，Ocarina的關(guān)鍵不同之處在于，其ECOsystem數(shù)據(jù)縮減平臺(tái)通過(guò)專門(mén)的算法，提供內(nèi)容識(shí)別（特定類型文件）優(yōu)化。ECOsystem采用后處理（或離線，或out-of-band）方法，兼具對(duì)象級(jí)數(shù)據(jù)的重復(fù)數(shù)據(jù)刪除和壓縮功能?！癊CO”指的是該系統(tǒng)進(jìn)行容量?jī)?yōu)化的“抽取-關(guān)聯(lián)-優(yōu)化”方法，用這種方法時(shí)，數(shù)據(jù)首先抽取出來(lái)，變換成原來(lái)的格式（而且如果是壓縮數(shù)據(jù)，還要解壓縮），然后再用與特定子文件或?qū)ο笃ヅ涞乃惴ㄟM(jìn)行關(guān)聯(lián)（混編）和優(yōu)化。在某些環(huán)境中，這種方法可實(shí)現(xiàn)更高級(jí)的容量?jī)?yōu)化，而且由于這種方法是在后處理采用的，所以不會(huì)降低主存儲(chǔ)系統(tǒng)應(yīng)用的性能。

ECOsystem中包括一個(gè)執(zhí)行容量?jī)?yōu)化的Optimizer和一個(gè)按需擴(kuò)充文件的ECOreader。

Ocarina很早就在圖像應(yīng)用環(huán)境中取得了成功（盡管該公司的技術(shù)不僅限于圖像領(lǐng)域），例如，柯達(dá)公司用Ocarina的ECOsystem管理超過(guò)20PB的照片數(shù)據(jù)。

Storwize

Storwize是主存儲(chǔ)系統(tǒng)數(shù)據(jù)縮減技術(shù)市場(chǎng)的先驅(qū)，該公司的技術(shù)也可以用于二級(jí)存儲(chǔ)系統(tǒng)。Storwize的關(guān)鍵不同點(diǎn)是，其in-line方法基于增強(qiáng)的實(shí)時(shí)壓縮（而沒(méi)有重復(fù)數(shù)據(jù)刪除，盡管Storwize的技術(shù)可以與重復(fù)數(shù)據(jù)刪除一起使用）。

Storwize公司全球市場(chǎng)高級(jí)副總裁Peter Smails表示:“我們是惟一一家對(duì)優(yōu)化（壓縮）數(shù)據(jù)提供實(shí)時(shí)和直接隨機(jī)存取的公司。”

與后處理數(shù)據(jù)縮減方法不同，Storwize的STN設(shè)備在數(shù)據(jù)第一次建立時(shí)、即在起始點(diǎn)進(jìn)行優(yōu)化，在數(shù)據(jù)寫(xiě)入磁盤(pán)時(shí)對(duì)數(shù)據(jù)進(jìn)行壓縮。因此，該平臺(tái)不像后處理方法那樣，不需要任何附加磁盤(pán)容量。

為了提高設(shè)備吞吐量，Storwize最近推出了STN-6000i系列，該系列產(chǎn)品提供高達(dá)800MBps的吞吐量，而以前的產(chǎn)品吞吐量為600MBps。

Hifn

今年4月被Exar收購(gòu)的Hifn公司采用另一種數(shù)據(jù)縮減方法。該公司向OEM提供兼有重復(fù)數(shù)據(jù)刪除、增強(qiáng)壓縮和加密功能的板卡和軟件。最新的板卡是BitWackr 250和255，這些板卡可以插入任何Windows服務(wù)器，價(jià)格預(yù)計(jì)為950美元左右。

與存儲(chǔ)網(wǎng)絡(luò)上基于專用設(shè)備的方法不同，與本質(zhì)上位于主存儲(chǔ)系統(tǒng)之后的目標(biāo)端方法也不同，Hifn的板卡插入服務(wù)器，并優(yōu)化寫(xiě)入本機(jī)磁盤(pán)的數(shù)據(jù)。重復(fù)數(shù)據(jù)刪除發(fā)生在NTFS文件分配單元中。

Exar公司存儲(chǔ)系統(tǒng)產(chǎn)品副總裁John Matze解釋說(shuō):“NTFS先進(jìn)行重復(fù)數(shù)據(jù)刪除，然后我們的板卡和軟件再做進(jìn)一步的重復(fù)數(shù)據(jù)刪除和壓縮?！?/P>

另一個(gè)不同之處是，Hifn利用基于ASIC的硬件加速。

盡管相對(duì)來(lái)說(shuō)Hifn不那么知名，但是該公司卻不是數(shù)據(jù)縮減領(lǐng)域的新手。配備硬件壓縮的大多數(shù)虛擬磁帶庫(kù)（VTL）都采用Hifn的板卡，如FalconStor、IBM、Overland Storage、Sepaton以及其他一些廠商的虛擬磁帶庫(kù)。

greenBytes

greenBytes是數(shù)據(jù)縮減市場(chǎng)的新手，該公司原來(lái)預(yù)期今年6月開(kāi)始交付產(chǎn)品。

greenBytes的不同之處是，它捆綁了多種技術(shù)，包括壓縮、子文件級(jí)重復(fù)數(shù)據(jù)刪除、海量空閑磁盤(pán)陣列（MAID）、固態(tài)盤(pán)（SSD）驅(qū)動(dòng)器、除了CIFS和NFS還支持iSCSI以及n-to-n復(fù)制。另外，greenBytes的軟件基于開(kāi)源代碼，尤其是OpenSolaris和一個(gè)修改版的ZFS文件系統(tǒng)，以提高可擴(kuò)展性（按照首席技術(shù)官Bob Petrocelli的說(shuō)法，高達(dá)數(shù)百TB都不會(huì)影響性能）。

greenBytes的專用設(shè)備采用源端數(shù)據(jù)縮減方法，其寫(xiě)速度高達(dá)800MBps。

greenBytes的方法采用了一種關(guān)鍵技術(shù)，該公司將其稱為“基于概率的恒定時(shí)間搜索”。在這種方法中，系統(tǒng)可以確定以前在“恒定”時(shí)間內(nèi)是否遇到了一個(gè)特定的數(shù)據(jù)塊，而不管系統(tǒng)獲得的文件有多大。該技術(shù)在固態(tài)盤(pán)上實(shí)現(xiàn)。Petrocelli說(shuō)，這種技術(shù)的好處是高速重復(fù)數(shù)據(jù)刪除，而且存儲(chǔ)的數(shù)據(jù)增多時(shí)，速度不會(huì)受到影響。另外，greenBytes的方法先壓縮數(shù)據(jù)，然后再進(jìn)行重復(fù)數(shù)據(jù)刪除，據(jù)稱可以支持高達(dá)2PB的名字空間。

對(duì)于正在考慮主存儲(chǔ)系統(tǒng)數(shù)據(jù)縮減的用戶，IDC公司的Greyzdorf提出了以下建議:“首先要了解自己的數(shù)據(jù)是什么類型的，了解這些數(shù)據(jù)的存取方式，有多少正在使用的數(shù)據(jù)和靜態(tài)數(shù)據(jù)，要對(duì)這些數(shù)據(jù)做什么，包括備份、復(fù)制、快照等，這樣才能更好地了解什么類型的容量?jī)?yōu)化技術(shù)最適合自己的特定環(huán)境?！?/P>