主存儲(chǔ)縮減技術(shù)浮出水面

申請(qǐng)免費(fèi)試用、咨詢電話：400-8352-114

數(shù)據(jù)壓縮和重復(fù)數(shù)據(jù)刪除技術(shù)對(duì)于存儲(chǔ)業(yè)界都已經(jīng)不陌生了，但我們通常都是在備份和歸檔時(shí)應(yīng)用它們。那么，在業(yè)務(wù)繁忙的主存儲(chǔ)（在線存儲(chǔ)）系統(tǒng)中能否將它們派上用場(chǎng)，以減少主存儲(chǔ)的容量需求呢？

盡管主存儲(chǔ)數(shù)據(jù)縮減技術(shù)通常被認(rèn)為用于備份，但這項(xiàng)技術(shù)存在已頗有一段時(shí)日了。自上世紀(jì)90年代中期以來，已經(jīng)有操作系統(tǒng)和操作系統(tǒng)的附加實(shí)用工具可以在主存儲(chǔ)設(shè)備上實(shí)時(shí)壓縮或后臺(tái)壓縮數(shù)據(jù)了。但由于近幾年磁盤價(jià)格穩(wěn)步下跌，主存儲(chǔ)數(shù)據(jù)縮減基本上淪為了擺設(shè)。不過近來，人們重新對(duì)節(jié)省空間的技術(shù)產(chǎn)生了興趣，許多企業(yè)再次考慮為主數(shù)據(jù)采用數(shù)據(jù)縮減技術(shù)。

什么因素讓人們重新有了興趣？可供數(shù)據(jù)中心經(jīng)理們考慮的一些方案又有哪些？

主存儲(chǔ)數(shù)據(jù)縮減技術(shù)東山再起，在很大程度上取決于兩個(gè)條件：文件保留需求的增加，以及廉價(jià)存儲(chǔ)可用性的降低。

現(xiàn)在用戶對(duì)存儲(chǔ)容量的需求有增無減，但存儲(chǔ)設(shè)備的擴(kuò)充總會(huì)達(dá)到極限。用戶創(chuàng)建的文件數(shù)量越來越多，每個(gè)文件也越來越龐大，而且法律上對(duì)文件的保留有了更多的要求。盡管幾年前存儲(chǔ)容量的成本還相對(duì)較低，但在過去的一年里，許多數(shù)據(jù)中心的管理人員發(fā)現(xiàn)，一味地增加存儲(chǔ)容量已不再是應(yīng)對(duì)數(shù)據(jù)增長的成本較低的解決方案。因?yàn)槌斯芾矶鄠€(gè)存儲(chǔ)系統(tǒng)的成本外，存儲(chǔ)對(duì)電力、冷卻和場(chǎng)地的影響也成為重要的因素，必須列入存儲(chǔ)所有這些數(shù)據(jù)的總成本中。另外，嚴(yán)峻的經(jīng)濟(jì)形勢(shì)和存儲(chǔ)預(yù)算的減少使情況更加嚴(yán)峻，迫使存儲(chǔ)經(jīng)理們更充分地利用存儲(chǔ)容量資源。

數(shù)據(jù)縮減技術(shù)正是幫助他們實(shí)現(xiàn)這個(gè)目標(biāo)的首要工具。

如果IT經(jīng)理捫心自問，就明白主存儲(chǔ)數(shù)據(jù)縮減技術(shù)其實(shí)治標(biāo)不治本。在理想的情況下，主存儲(chǔ)中的數(shù)據(jù)有一大部分應(yīng)該刪除或轉(zhuǎn)移到次級(jí)存儲(chǔ)設(shè)備上。可是，數(shù)據(jù)中心的實(shí)際情況并不盡如人意。存儲(chǔ)常常作為一項(xiàng)服務(wù)配置給用戶，因而，用戶不希望自己的數(shù)據(jù)被轉(zhuǎn)移，更不希望被刪除。諸如此類的任何操作對(duì)他們來說必須是透明的。由此看來，最容易被接受的辦法就是從同樣大小的存儲(chǔ)空間中獲取更多的容量，而又不用轉(zhuǎn)移用戶數(shù)據(jù)。因此，數(shù)據(jù)縮減技術(shù)成為首選的技術(shù)，它所帶來的變化有限，其中大多數(shù)優(yōu)化都不需要用戶操心。

優(yōu)化技術(shù)

考慮主存儲(chǔ)數(shù)據(jù)縮減時(shí)，兩項(xiàng)優(yōu)化技術(shù)首當(dāng)其沖：數(shù)據(jù)壓縮和重復(fù)數(shù)據(jù)刪除。

盡管重復(fù)數(shù)據(jù)刪除技術(shù)常在媒體上拋頭露面，但數(shù)據(jù)壓縮在主存儲(chǔ)領(lǐng)域也許有更大的價(jià)值。這是因?yàn)橹貜?fù)數(shù)據(jù)刪除需要有冗余的數(shù)據(jù)才能發(fā)揮作用，這也是為什么數(shù)據(jù)備份中應(yīng)用重復(fù)數(shù)據(jù)刪除技術(shù)，能使資金的投入有很好的回報(bào)，因?yàn)槟切┟恐苓M(jìn)行的完全備份幾乎相同。而主存儲(chǔ)的冗余性與備份數(shù)據(jù)不一樣，至少應(yīng)該不一樣，虛擬機(jī)映像可能除外。因此，重復(fù)數(shù)據(jù)刪除處理主存儲(chǔ)數(shù)據(jù)的效率通常只有處理備份數(shù)據(jù)效率的1/3。

另一方面，數(shù)據(jù)壓縮技術(shù)適用于幾乎各種數(shù)據(jù)。雖然就處理高度冗余的數(shù)據(jù)而言，數(shù)據(jù)壓縮不如重復(fù)數(shù)據(jù)刪除來得有效，但主存儲(chǔ)上的大部分?jǐn)?shù)據(jù)可以壓縮。另外，還可以針對(duì)數(shù)據(jù)類型對(duì)數(shù)據(jù)壓縮進(jìn)行微調(diào)，或利用特殊的壓縮設(shè)備來縮減某些數(shù)據(jù)集。當(dāng)然，其代價(jià)是要耗費(fèi)處理器資源。

在理想情況下，數(shù)據(jù)壓縮和重復(fù)數(shù)據(jù)刪除應(yīng)該結(jié)合使用，以便最大限度地回收利用主存儲(chǔ)容量。

何處進(jìn)行數(shù)據(jù)縮減？

需要考慮的另一個(gè)問題是：在何處進(jìn)行容量優(yōu)化，以及誰來處理優(yōu)化？

如今，數(shù)據(jù)縮減最常出現(xiàn)在文件服務(wù)系統(tǒng)上，比如網(wǎng)絡(luò)附加存儲(chǔ)（NAS）或文件服務(wù)器。而要不要縮減數(shù)據(jù)，通常取決于存儲(chǔ)硬件提供商，或文件系統(tǒng)，或通過第三方以附件形式來提供的設(shè)備。以NAS硬件為例，處理數(shù)據(jù)縮減任務(wù)的通常是文件系統(tǒng)本身。也有一些廠商提供獨(dú)立的文件系統(tǒng)或NAS軟件，它們可以安裝到現(xiàn)有硬件上，以提供數(shù)據(jù)縮減機(jī)制。

顯然，如果目前使用的NAS或文件系統(tǒng)有這項(xiàng)功能的話，采用文件系統(tǒng)的方法只適用于數(shù)據(jù)中心。這也意味著，只有該廠商的NAS存儲(chǔ)硬件設(shè)備得到支持。如果環(huán)境中有諸多廠商的產(chǎn)品，或者廠商目前在其系統(tǒng)中不提供數(shù)據(jù)優(yōu)化服務(wù)，那么用戶需要借助第三方獨(dú)立軟件開發(fā)商（ISV）來提供這項(xiàng)功能。除了這類廠商常常提供的專門化優(yōu)勢(shì)外，這么做有時(shí)會(huì)帶來其他優(yōu)點(diǎn)，比如更大的靈活性、更通用的優(yōu)化方法，以及能夠在不同廠商的平臺(tái)之間轉(zhuǎn)移數(shù)據(jù)。從產(chǎn)品開發(fā)的角度來看，用戶只需關(guān)注數(shù)據(jù)縮減，沒必要維護(hù)整個(gè)文件系統(tǒng)。

迄今為止，基于塊的系統(tǒng)上還沒有太多的優(yōu)化。盡管裝載到傳統(tǒng)磁盤上的文件系統(tǒng)也許能提供這項(xiàng)功能，但大多數(shù)存儲(chǔ)陣列硬件還無法處理這項(xiàng)任務(wù)。不過，這在不久的將來可能會(huì)成為一個(gè)選項(xiàng)。隨著廠商們開始推出有望在存儲(chǔ)層之間轉(zhuǎn)移數(shù)據(jù)塊的自動(dòng)化分層策略，不難想像，它們也能優(yōu)化這些數(shù)據(jù)。

據(jù)研究調(diào)查顯示，多達(dá)85%的主存儲(chǔ)數(shù)據(jù)不再被經(jīng)常訪問。這種情況至今持續(xù)了多年，由此催生了諸多技術(shù)方案，比如層次存儲(chǔ)管理（HSM）、數(shù)據(jù)歸檔以及現(xiàn)在眾所周知的信息生命周期管理（ILM）。

盡管上述技術(shù)方案各有優(yōu)點(diǎn)，值得探究，但現(xiàn)實(shí)情況是，許多數(shù)據(jù)中心需要迅速解決存儲(chǔ)容量問題，沒有時(shí)間或人員來實(shí)施完整的數(shù)據(jù)管理策略。因此，實(shí)際環(huán)境下的主存儲(chǔ)通常保存了各種類別的數(shù)據(jù)：包括極其活躍的（ extremely active）數(shù)據(jù)、近活躍的（near active）數(shù)據(jù)和不活躍（inactive）的數(shù)據(jù)（即陳舊的數(shù)據(jù)）。幸運(yùn)的是，所有這些數(shù)據(jù)都可以得到優(yōu)化。

對(duì)于主存儲(chǔ)中多種類別的數(shù)據(jù)來說，每項(xiàng)優(yōu)化策略對(duì)存儲(chǔ)生態(tài)系統(tǒng)都會(huì)帶來各自的獨(dú)特影響。系統(tǒng)在最初需要做出的決定之一就是應(yīng)該何時(shí)優(yōu)化數(shù)據(jù)，是該在數(shù)據(jù)訪問時(shí)實(shí)時(shí)優(yōu)化，還是在數(shù)據(jù)變得不常訪問后優(yōu)化？

有幾款解決方案可提供實(shí)時(shí)數(shù)據(jù)壓縮，它們介于存儲(chǔ)設(shè)備及訪問點(diǎn)之間。在大多數(shù)情況下，這些系統(tǒng)不會(huì)給性能帶來負(fù)面影響。標(biāo)準(zhǔn)的、不能識(shí)別內(nèi)容的壓縮是一種比較有效的算法，并不影響性能。另外，繁重的壓縮工作經(jīng)常會(huì)交給獨(dú)立式設(shè)備去處理，使進(jìn)出存儲(chǔ)設(shè)備的數(shù)據(jù)已經(jīng)經(jīng)過了縮減，這就減輕了存儲(chǔ)系統(tǒng)的負(fù)擔(dān)。

目前甚至還有這樣的實(shí)時(shí)重復(fù)數(shù)據(jù)刪除解決方案：數(shù)據(jù)在存儲(chǔ)時(shí)與其他數(shù)據(jù)進(jìn)行比較。盡管這種系統(tǒng)對(duì)性能會(huì)有一定影響——影響的大小取決于工作負(fù)載，但關(guān)系不大。針對(duì)主存儲(chǔ)的實(shí)時(shí)重復(fù)數(shù)據(jù)刪除還沒有得到廣泛接受，運(yùn)用時(shí)要慎重。不管怎樣，存儲(chǔ)經(jīng)理必須準(zhǔn)備好解決實(shí)時(shí)優(yōu)化影響存儲(chǔ)性能方面的問題。

實(shí)施數(shù)據(jù)優(yōu)化的一種更常見的方法是，數(shù)據(jù)在閑置一段時(shí)間后進(jìn)行優(yōu)化。即使“不活躍的”這段時(shí)間只有短短幾天，但這些數(shù)據(jù)被再次訪問的可能性通常也很小。

作為后臺(tái)進(jìn)程的一部分來優(yōu)化數(shù)據(jù)，讓非?；钴S的數(shù)據(jù)可以保持原來形狀，不用擔(dān)心數(shù)據(jù)優(yōu)化會(huì)影響非?；钴S的文件或數(shù)據(jù)庫的存儲(chǔ)性能。在維護(hù)期間，可以檢查文件系統(tǒng)上的未優(yōu)化數(shù)據(jù)，看看它現(xiàn)在是不是適合優(yōu)化。如果適合，隨后它就將被壓縮及/或重復(fù)數(shù)據(jù)刪除處理。如果不適合（意味著數(shù)據(jù)仍在活躍范圍內(nèi)），它能繼續(xù)以原來形狀來存儲(chǔ)。

有些系統(tǒng)能夠區(qū)分被訪問的數(shù)據(jù)和被優(yōu)化的數(shù)據(jù)，并能提供數(shù)據(jù)。這意味著經(jīng)過優(yōu)化的數(shù)據(jù)能夠讀取。在大多數(shù)情況下，當(dāng)數(shù)據(jù)只是被訪問或被讀取時(shí)，數(shù)據(jù)縮減給性能帶來的影響非常小；當(dāng)數(shù)據(jù)首次需要優(yōu)化時(shí)，其工作負(fù)載則比較大。一旦優(yōu)化作為次級(jí)過程來完成，又不針對(duì)所有數(shù)據(jù)來優(yōu)化，那么，的確能夠優(yōu)化大部分?jǐn)?shù)據(jù)，并且消除性能影響方面的后顧之憂。

歸檔替代方案

要是不提到數(shù)據(jù)管理問題，那么對(duì)數(shù)據(jù)縮減方面的任何討論都將是不全面的?？s減主存儲(chǔ)空間的缺點(diǎn)是，盡管需要管理的物理組件相同，但典型系統(tǒng)上的數(shù)據(jù)量在繼續(xù)增加?？梢赃@么認(rèn)為：優(yōu)化使這種情況變得更糟，因?yàn)閷?shí)際容量更大或物理設(shè)備更多后，管理人員再也“看不到”問題。此外，主存儲(chǔ)數(shù)據(jù)縮減獲得的優(yōu)點(diǎn)常常僅限于主存儲(chǔ)層。把這些數(shù)據(jù)轉(zhuǎn)移到其他存儲(chǔ)層或數(shù)據(jù)保護(hù)流程后，常常需要“重新膨脹”（re-inflated）成原來大小，然后等進(jìn)入到次級(jí)存儲(chǔ)位置時(shí)“重新優(yōu)化”。盡管數(shù)據(jù)縮減技術(shù)廠商正在竭力解決這個(gè)問題，但如今問題依然存在。

解決辦法就是，不要把數(shù)據(jù)縮減當(dāng)做“惟一方案”，而是當(dāng)做總體計(jì)劃中的一部分，總體計(jì)劃應(yīng)包括數(shù)據(jù)歸檔。歸檔的目的是把這些數(shù)據(jù)從主存儲(chǔ)通道遷移出去，讓這些數(shù)據(jù)遠(yuǎn)離數(shù)據(jù)保護(hù)流程，但又能做到需要時(shí)易于訪問。

歸檔系統(tǒng)也有類似的主存儲(chǔ)數(shù)據(jù)縮減技術(shù)，但同時(shí)添加了充分利用密度更高、成本更低的驅(qū)動(dòng)器，并可能關(guān)閉這些驅(qū)動(dòng)器的電源的技術(shù)。這比單使用數(shù)據(jù)縮減技術(shù)能更進(jìn)一步推遲對(duì)額外存儲(chǔ)容量的購置。

主存儲(chǔ)數(shù)據(jù)縮減帶來了實(shí)實(shí)在在的投資回報(bào)。實(shí)施該技術(shù)后，在大多數(shù)情況下，至少會(huì)“多出”50%的存儲(chǔ)容量。只要本來就有購買額外存儲(chǔ)容量的想法，這種解決方案應(yīng)該會(huì)很快收回成本。這是開始實(shí)行影響更深遠(yuǎn)的數(shù)據(jù)管理策略的一個(gè)好辦法。

鏈  接

數(shù)據(jù)類型與數(shù)據(jù)縮減

有些數(shù)據(jù)壓縮系統(tǒng)，特別是那些將數(shù)據(jù)縮減處理作為次級(jí)過程的系統(tǒng)，可以用更多的時(shí)間來了解正在優(yōu)化的數(shù)據(jù)類型，特別是壓縮可以進(jìn)行微調(diào)的數(shù)據(jù)類型。有一些特別的壓縮算法適用于那些標(biāo)準(zhǔn)壓縮引擎不能很好應(yīng)對(duì)的眾多數(shù)據(jù)類型。典型例子包括音頻、視頻和圖像文件。

圖像是縮減起來特別困難的數(shù)據(jù)類型。圖像對(duì)存儲(chǔ)的需求日益增加，不只是照片共享網(wǎng)站，像大多數(shù)企業(yè)存儲(chǔ)的文檔圖像、員工照片和施工現(xiàn)場(chǎng)的照片等。如果有更多的時(shí)間，一些優(yōu)化解決方案甚至能夠在可視化數(shù)據(jù)類型方面更進(jìn)一步，從而縮減圖像文件的大小。這就是通常所謂的“有損”（lossy）數(shù)據(jù)縮減技術(shù)，因?yàn)橐徊糠謭D像質(zhì)量丟失了?？s減照片的分辨率時(shí)就會(huì)出現(xiàn)這種情況；分辨率越低，照片在磁盤上占用的空間就越小。盡管這聽上去不大稱心如意，但這類系統(tǒng)有些能讓圖像看上去并沒有損失，這意味著在我們的肉眼看來，圖像在壓縮前后看上去是一樣的。隨著企業(yè)中的圖像庫不斷變得龐大，這些方法也會(huì)變得越來越重要。