將重復(fù)數(shù)據(jù)刪除用在主存儲(chǔ)？

申請(qǐng)免費(fèi)試用、咨詢電話：400-8352-114

每一種技術(shù)的出現(xiàn)都有其適合伸展的市場(chǎng)，即使這個(gè)市場(chǎng)有大有小，我們也必須要以辨證的看法去看問題，而不能一杠到底，所以，最后的答案往往是這樣的："哪一種重復(fù)數(shù)據(jù)刪除技術(shù)比較好，還是要看用戶的實(shí)際情況。"

所以，本周我們想談另一個(gè)與重復(fù)數(shù)據(jù)刪除技術(shù)有關(guān)的話題：你是否能夠在主存儲(chǔ)上應(yīng)用重復(fù)數(shù)據(jù)刪除技術(shù)？對(duì)于這個(gè)問題，我們希望我們能夠給予一個(gè)明晰的答案，哪怕仍然是一個(gè)"一分為二"的答案，我們也力圖將分開的"二"，分的更加明確一點(diǎn)，就像楚河漢界那樣。

主存儲(chǔ)：是能隨便動(dòng)的么？

Storage Switzerland 及 Storage Switzerland Events的創(chuàng)始人兼主席George Crump認(rèn)為，在主存儲(chǔ)上進(jìn)行重復(fù)數(shù)據(jù)刪除可不是鬧著玩的。

這位存儲(chǔ)專家認(rèn)為，主存儲(chǔ)是對(duì)性能十分敏感的而且生怕出現(xiàn)問題，如果因?yàn)閳?zhí)行重復(fù)數(shù)據(jù)刪除而影響了生產(chǎn)環(huán)境的性能表現(xiàn)，企業(yè)是肯定不能接受的，因此，重復(fù)數(shù)據(jù)刪除技術(shù)必須是高效快速的，它不能影響性能，或者在重復(fù)數(shù)據(jù)刪除的過程中絕不能有任何的"性能波段"。而且，還涉及到另外一個(gè)問題：主存儲(chǔ)都是生產(chǎn)系統(tǒng)，存儲(chǔ)在上面的數(shù)據(jù)會(huì)是"靜止"的么？

答案肯定是否定的，既然是生產(chǎn)系統(tǒng)，就肯定是在線系統(tǒng)，那么，肯定會(huì)是經(jīng)常訪問的，但是，重復(fù)數(shù)據(jù)刪除技術(shù)與壓縮技術(shù)有一個(gè)共同的特點(diǎn)，那就是壓縮技術(shù)的壓縮比越高，所需的解壓縮的時(shí)間越長（用WinRAR的人肯定都見過標(biāo)準(zhǔn)、最快、最好等多個(gè)選項(xiàng)），重復(fù)數(shù)據(jù)刪除也是如此：重復(fù)刪除的水平越高，數(shù)據(jù)讀回時(shí)對(duì)性能的影響越大

除了在性能上的擔(dān)憂之外，主存儲(chǔ)應(yīng)用重復(fù)數(shù)據(jù)刪除是否會(huì)出問題也是我們不得不考慮的問題，當(dāng)然，我們?cè)诖藳]有懷疑任何一家重復(fù)數(shù)據(jù)刪除公司會(huì)錯(cuò)誤的刪除數(shù)據(jù)，只是我們想到一個(gè)問題，在任何一個(gè)IT系統(tǒng)中，部署的應(yīng)用越多，系統(tǒng)的風(fēng)險(xiǎn)也越大，那么，用戶到底做沒做好準(zhǔn)備去再在其系統(tǒng)上加裝一個(gè)系統(tǒng)？尤其是，這個(gè)系統(tǒng)將會(huì)將會(huì)在每一次存儲(chǔ)和讀取數(shù)據(jù)時(shí)現(xiàn)身，這是另外一個(gè)需要考慮的問題--或許用戶可以嘗試重復(fù)數(shù)據(jù)刪除卡，也是個(gè)不錯(cuò)的選擇，只是我們是不是要去考慮一下標(biāo)準(zhǔn)化和兼容性的問題呢？目前我還沒有遇到這個(gè)產(chǎn)品的用戶，或許過幾個(gè)月會(huì)有答案。

主存儲(chǔ)：有多少的"刪除"余地？

重復(fù)數(shù)據(jù)刪除出生的初衷是什么？是因?yàn)橛泻芏嘞裎乙粯用刻熳鰝浞?，而且不僅做一個(gè)備份的用戶--自從我的移動(dòng)硬盤丟失過一次數(shù)據(jù)之后，我每天都要把新文件在移動(dòng)硬盤和閃存上存兩份，對(duì)于許多企業(yè)來說也是這樣，像工商銀行這樣的金融用戶，幾乎每天的交易數(shù)據(jù)都要存三份：本地備份系統(tǒng)一份，長期歸檔系統(tǒng)一份，異地的災(zāi)備中心還要有一份，有時(shí)候，甚至還會(huì)另備份一份在其它備份系統(tǒng)上，因?yàn)樗麄兊臄?shù)據(jù)太寶貴了，如果丟失，造成的損失絕不是個(gè)小數(shù)目，但是這里面有個(gè)問題：過多的備份，尤其是很多用戶的全備份（而不是增量備份），讓存儲(chǔ)系統(tǒng)不堪重負(fù)，所以才想起去壓縮，去刪除重復(fù)數(shù)據(jù)。

但是生產(chǎn)系統(tǒng)顯然不太一樣。

首先，生產(chǎn)系統(tǒng)是獨(dú)一無二的，我們的生產(chǎn)系統(tǒng)中，能夠有多少數(shù)據(jù)是重復(fù)的？10%？20%還是50%，很顯然，除了抄送了多人的電子郵件和某些標(biāo)準(zhǔn)格式的調(diào)查表之外，或許沒有太多的數(shù)據(jù)讓我們?nèi)h除重復(fù)數(shù)據(jù)，像George Crump就覺得，對(duì)于生產(chǎn)數(shù)據(jù)來說，盡管可能會(huì)有一些重復(fù)--比如同一個(gè)數(shù)據(jù)庫的"額外"副本，但大多數(shù)情況下，數(shù)據(jù)冗余并不像備份或歸檔那么多。

隨著基于磁盤的歸檔和磁盤備份變得更加普遍，主存儲(chǔ)的冗余數(shù)據(jù)更少了。過去，保存數(shù)據(jù)庫或文件的額外副本的價(jià)值是"以防萬一"?，F(xiàn)在這些副本，可以很容易地發(fā)送到磁盤歸檔或磁盤備份設(shè)備當(dāng)中。（這是一件好事！ ）注意：當(dāng)前用戶期望看到的存儲(chǔ)效率提升20倍或更多，在主存儲(chǔ)就不要想了。一個(gè)更現(xiàn)實(shí)的目標(biāo)可能是3倍，最多5倍。

另一個(gè)現(xiàn)象是：大部分的主存儲(chǔ)的數(shù)據(jù)已經(jīng)是預(yù)壓縮格式。文件，如圖片，媒體文件，和特定行業(yè)的數(shù)據(jù)集，是已經(jīng)預(yù)先壓縮過的。即使最新版本的流行的office應(yīng)用也是預(yù)先壓縮的。這些預(yù)壓縮文件，往往代表了企業(yè)增長最快的最大的數(shù)據(jù)集。為應(yīng)對(duì)生產(chǎn)數(shù)據(jù)的"獨(dú)特性"和"預(yù)壓縮"，一個(gè)成功的主存儲(chǔ)精簡技術(shù)需要"挖的更深"。內(nèi)置的數(shù)據(jù)精簡（重復(fù)數(shù)據(jù)刪除）在備份和存檔有明顯的優(yōu)勢(shì)，但生產(chǎn)存儲(chǔ)中，帶外管理會(huì)更有效。

當(dāng)然，在主存儲(chǔ)上，我們?nèi)匀挥幸恍╆P(guān)于重復(fù)數(shù)據(jù)刪除的建議。

嘗試應(yīng)用：如果你有錢

"以前沒有人能夠真正對(duì)在線及主存儲(chǔ)進(jìn)行重復(fù)數(shù)據(jù)刪除，因?yàn)檫@的確很難"，George說，"（在線數(shù)據(jù)）的性能要求更加嚴(yán)格，而且?guī)缀趺總€(gè)文件都已經(jīng)在保存過程中被它自己的應(yīng)用程序給壓縮過了"。例如，他指出Microsoft 2007文檔在關(guān)閉時(shí)就被自動(dòng)壓縮。這也就是說這個(gè)文件不能通過傳統(tǒng)方法來再次壓縮以節(jié)省空間--而這正是重復(fù)數(shù)據(jù)刪除作用的領(lǐng)域。

另一個(gè)需要去刪除一些重復(fù)數(shù)據(jù)的地方或者說有重復(fù)數(shù)據(jù)可能性更高的地方，是Exchange和Lotus，我們都會(huì)常常收到群發(fā)郵件，而當(dāng)這些群發(fā)郵件中擁有一個(gè)龐大的附件時(shí)，可刪除的重復(fù)數(shù)據(jù)就比較多了，可以肯定的是，每個(gè)周末每個(gè)公司總會(huì)有很開朗的同事發(fā)一些視頻和圖片，而且一發(fā)就是幾十人--這個(gè)時(shí)候，單一實(shí)例存儲(chǔ)，很有用。

第三個(gè)應(yīng)用領(lǐng)域是當(dāng)你的虛擬機(jī)很多的時(shí)候，隨著數(shù)據(jù)中心的虛擬化建設(shè)，原來的一臺(tái)服務(wù)器現(xiàn)在可能變成了多臺(tái)虛擬機(jī)，有多個(gè)操作系統(tǒng)在運(yùn)行，而這些操作系統(tǒng)很多是重復(fù)的，這就造成了大量的重復(fù)數(shù)據(jù)，在主存儲(chǔ)中引入重復(fù)數(shù)據(jù)刪除，可以消除此類冗余數(shù)據(jù)--NetApp公司中國區(qū)總經(jīng)理柯志明是這樣看待這個(gè)問題的，對(duì)于這樣"應(yīng)用在主存儲(chǔ)上的重復(fù)數(shù)據(jù)刪除"，IDC的分析師Laura DuBois認(rèn)為：NetApp也許會(huì)開辟出新的應(yīng)用領(lǐng)域，但世上沒有十全十美的事，他表示，我們也要看到，在主存儲(chǔ)上做重復(fù)數(shù)據(jù)刪除可能給生產(chǎn)系統(tǒng)性能造成一定影響。對(duì)此，柯志明先生坦言"我們做過一些測(cè)試，用了De-Dupication大概有5%-10%的性能影響"。

那么，對(duì)于那些希望將重復(fù)數(shù)據(jù)刪除加入到主存儲(chǔ)的人們眼中，到底他們的商機(jī)在哪里呢？打算將重復(fù)數(shù)據(jù)刪除推進(jìn)到主存儲(chǔ)的Ocarina公司的產(chǎn)品副總裁Carter George認(rèn)為，一些燃?xì)饧笆托袠I(yè)可能對(duì)該技術(shù)感興趣，因?yàn)樗鼈冇写罅康牡卣饒D片文件需要存儲(chǔ)。他認(rèn)為大型金融機(jī)構(gòu)和事務(wù)類型的環(huán)境也可能適合重復(fù)數(shù)據(jù)刪除。"數(shù)據(jù)庫比較棘手"，他說，"我們可以縮減數(shù)據(jù)庫文件的大小，但是由于數(shù)據(jù)經(jīng)常在變動(dòng)，這些文件縮小又膨脹--重復(fù)數(shù)據(jù)刪除并不能起作用"。

但是在最后，我們打算將重復(fù)數(shù)據(jù)刪除歸結(jié)到一個(gè)亙古不變的問題上來：你到底有錢沒錢？

隨著頂級(jí)存儲(chǔ)制造商開始生產(chǎn)1T的SATA硬盤，購買大容量的存儲(chǔ)空間越來越容易--未來，SSD的發(fā)展最終會(huì)帶來一個(gè)更美妙的主存儲(chǔ)世紀(jì)：容量更大，耗電更低，價(jià)格更平易近人，而性能，可能會(huì)超乎我們的想象！(IT168)