解析分級存儲管理（HSM）

申請免費試用、咨詢電話：400-8352-114

    一、  三種存儲方式

    所謂分級存儲，就是根據(jù)數(shù)據(jù)不同的重要性、訪問頻次等指標分別存儲在不同性能的存儲設(shè)備上，采取不同的存儲方式。這樣一方面可大大減少非重要性數(shù)據(jù)在一級本地磁盤所占用的空間，還可加快整個系統(tǒng)的存儲性能。在這里就涉及到幾種不同性能的存儲設(shè)備和不同的存儲形式了。

    目前常用于數(shù)據(jù)存儲的存儲設(shè)備主要有磁盤（包括磁盤陣列）、磁帶（包括磁帶機和磁帶庫）和光盤（包括一切CD-R、CD-RW、DVD-R、DVD-RW等光盤塔和光盤庫設(shè)備）。從性能上來說，磁盤當然是最好的，光盤次之，最差的是磁帶。而從價格上來說，單位容量成本上升磁盤最貴、光盤次之，磁帶最低。這就為我們不同的應(yīng)用追求最佳性價比提供了條件，因為這些不同的存儲媒介可應(yīng)用于不同的存儲方式中。這不同的存儲形式包括在線存儲（OnStore）、近線存儲（NearStore）和離線存儲（OffStore）。

    在線存儲
    在線存儲又稱工作級的存儲，存儲設(shè)備和所存儲的數(shù)據(jù)時刻保持“在線”狀態(tài)，是可隨意讀取的，可滿足計算平臺對數(shù)據(jù)訪問的速度要求。如我們PC機中常用的磁盤基本上都是采用這種存儲形式的。一般在線存儲設(shè)備為磁盤和磁盤陣列等磁盤設(shè)備，價格相對昂貴，但性能最好。

    離線存儲
    離線存儲主要是用于對在線存儲的數(shù)據(jù)進行備份，以防范可能發(fā)生的數(shù)據(jù)災(zāi)難，因此又稱備份級的存儲。離線海量存儲的典型產(chǎn)品就是磁帶或磁帶庫，價格相對低廉。離線存儲介質(zhì)上的數(shù)據(jù)在讀寫時是順序進行的。當需要讀取數(shù)據(jù)時，需要把帶子卷到頭，再進行定位。當需要對已寫入的數(shù)據(jù)進行修改時，所有的數(shù)據(jù)都需要全部進行改寫。因此，離線海量存儲的訪問是慢速度、低效率的。

    近線存儲
    所謂近線存儲，就是指將那些并不是經(jīng)常用到，或者說數(shù)據(jù)的訪問量并不大的數(shù)據(jù)存放在性能較低的存儲設(shè)備上。對這些的設(shè)備要求是尋址迅速、傳輸率高。因此，近線存儲對性能要求相對來說并不高，但由于不常用的數(shù)據(jù)要占總數(shù)據(jù)量的大多數(shù)，這也就意味著近線存儲設(shè)備首先要保證的是容量。

    在分級數(shù)據(jù)存儲結(jié)構(gòu)中，磁帶庫等成本較低的存儲資源用來存放訪問頻率較低的信息，而磁盤或磁盤陣列等成本高、速度快的設(shè)備，用來存儲經(jīng)常訪問的重要信息。數(shù)據(jù)分級存儲的工作原理是基于數(shù)據(jù)訪問的局部性。通過將不經(jīng)常訪問的數(shù)據(jù)自動移到存儲層次中較低的層次，釋放出較高成本的存儲空間給更頻繁訪問的數(shù)據(jù)，可以獲得更好的總體性價比。

    二、  分級存儲的必要性和主要優(yōu)點

    今天企業(yè)的數(shù)據(jù)中心非常復(fù)雜，數(shù)據(jù)保護是其關(guān)鍵。但是，并非所有的數(shù)據(jù)都具有同樣的價值，也并非所有的企業(yè)都具有同樣的需求。的確如此，通常認為企業(yè)中的關(guān)鍵和非關(guān)鍵數(shù)據(jù)量也符合“二八原則”，就是只有20%的關(guān)鍵數(shù)據(jù)，而80%都是非關(guān)鍵的。系統(tǒng)中60%至80%的數(shù)據(jù)經(jīng)常在一個月，甚至一年中都不會被訪問。而在經(jīng)常訪問的數(shù)據(jù)中，重要性差別也十分突出，有的數(shù)據(jù)與用戶的業(yè)務(wù)聯(lián)系緊密，可靠性、可用性及性能要求都很高，有的盡管經(jīng)常使用但是與業(yè)務(wù)聯(lián)系不是特別緊密。一般來說，重用數(shù)據(jù)的概率自數(shù)據(jù)創(chuàng)建3天之后就會下降50%，當數(shù)據(jù)創(chuàng)建30天后，重用的概率通常會降至很低，而高達90%的數(shù)據(jù)超過90天后就不會或很少被讀取。為了提供良好的數(shù)據(jù)保護，IT部門通常都保留巨大的空余空間，用以防止出現(xiàn)容量不足的現(xiàn)象。

    IT企業(yè)總是要面對增長起來無休無止的數(shù)據(jù)量。各種應(yīng)用都在創(chuàng)建越來越大的文件，用戶也很少刪除數(shù)據(jù)和存檔，這就導(dǎo)致要訪問舊一些的文件已經(jīng)變得非常困難。之所以要采取分組存儲，是因為它既能最大限度地滿足用戶隨時訪問所有需要經(jīng)常使用的數(shù)據(jù)，又可使存儲成本最小化。綜合起來，可以得出分級存儲的優(yōu)點主要體現(xiàn)在以下兩個方面：

    1、  減少總體存儲成本
    在傳統(tǒng)的在線存儲中，所有數(shù)據(jù)都存儲在一線磁盤存儲設(shè)備上，而由于絕大多數(shù)數(shù)據(jù)的訪問率并不高，占住了大量寶貴的磁盤空間，在一定程度上是一種浪費。如果把這些數(shù)據(jù)轉(zhuǎn)移到存儲性能稍低的磁盤（如IDE或SATA接口磁盤）或光盤存儲設(shè)備上，存儲成本可得以大幅降低。

    2、  提高整體系統(tǒng)性能
    由于絕大部分數(shù)據(jù)轉(zhuǎn)移到下級存儲設(shè)備上，那需要時刻保持在線的數(shù)據(jù)就少了，系統(tǒng)資源的占用也就少了許多，整體系統(tǒng)性能自然也就提高了。如果采用了離線存儲方式對很少使用的數(shù)據(jù)保存在像磁帶這樣的離線存儲媒體上時，則不僅可提高系統(tǒng)性能，還可確保數(shù)據(jù)的安全性。
   
    三、  分級存儲的管理

    分級存儲管理（Hierarchical Storage Management，HSM）就是要將用戶擁有的所有存儲資源統(tǒng)一管理，提高每種存儲設(shè)備的利用率，節(jié)約了成本。在分級存儲中，存儲的分級是十分明顯的，僅從設(shè)備上說，就有磁帶機、磁帶庫、NAS、中低端盤陣、高端存儲系統(tǒng)等等。而且在線、近線與離線存儲存放的數(shù)據(jù)價值不同，如何根據(jù)用戶數(shù)據(jù)的不同價值合理利用好每種存儲資源是一個不小的挑戰(zhàn)。

    分級存儲管理起源于1978年，首先使用于IBM的大型機系統(tǒng)。近10年來，HSM被廣泛應(yīng)用于開放系統(tǒng)的Unix和Windows平臺。其中最關(guān)鍵的技術(shù)就是近線存儲和數(shù)據(jù)遷移技術(shù)。

    分級存儲管理是一種將離線存儲與在線存儲融合的技術(shù)。它將高速、高容量的非在線存儲設(shè)備作為磁盤設(shè)備的下一級設(shè)備，然后將磁盤中常用的數(shù)據(jù)按指定的策略自動遷移到磁帶庫等二級大容量存儲設(shè)備上。當需要使用這些數(shù)據(jù)時，分級存儲系統(tǒng)會自動將這些數(shù)據(jù)從下一級存儲設(shè)備調(diào)回到上一級磁盤上。對于用戶來說，上述數(shù)據(jù)遷移操作完全是透明的，只是在訪問磁盤的速度上略有怠慢，而在邏輯磁盤的容量上明顯感覺大大提高了。通俗地講，數(shù)據(jù)遷移是一種可以把大量不經(jīng)常訪問的數(shù)據(jù)存放在磁帶庫、光盤庫等離線介質(zhì)上，只在磁盤陣列上保存少量訪問頻率高的數(shù)據(jù)的技術(shù)。當那些磁帶等介質(zhì)上數(shù)據(jù)被訪問時，系統(tǒng)自動地把這些數(shù)據(jù)回遷到磁盤陣列中；同樣，磁盤陣列中很久未訪問的數(shù)據(jù)被自動遷移到磁帶介質(zhì)上，從而大大降低投入和管理成本。

    HSM應(yīng)用也具備監(jiān)測磁盤容量并在關(guān)鍵容量情況下做出反應(yīng)的能力。這種軟件經(jīng)過配置后可以為某個卷設(shè)定一個最小的剩余空間，當達到這個極限后自動向用戶發(fā)出警告，提示用戶或自動進行數(shù)據(jù)遷移。這樣便可以立即釋放空間，管理員也可以在今后有空閑時再來解決空間的問題。

    由此可見，分級存儲管理更多從降低成本、不影響數(shù)據(jù)應(yīng)用效果的角度解決數(shù)據(jù)的存儲問題。事實上，降低成本、提高效率已成為IT廠商追逐技術(shù)進步的一個目標。近線存儲就是這種進步的產(chǎn)物。伴隨單盤成本的下降，近線存儲市場漸熱，有業(yè)內(nèi)專家預(yù)測，不久的將來，近線存儲技術(shù)將取代數(shù)據(jù)遷移技術(shù)，用戶將以模擬海量空間的、更為安全可靠的磁盤介質(zhì)保存歷史數(shù)據(jù)。而成熟完善的數(shù)據(jù)遷移軟件技術(shù)將更為恰到好處的融入到近線存儲設(shè)備中，為近線存儲技術(shù)的發(fā)展起到推波助瀾的作用。

    四、NeytApp NearStore分級存儲管理方案

    為了使大家對分級存儲管理有一個具體的了解，下面結(jié)合Network Appliance公司的NearStore近線存儲在HSM中的應(yīng)用介紹分級存儲網(wǎng)絡(luò)架構(gòu)，同時了解有關(guān)產(chǎn)品。

    NearStore HSM存儲方案體系結(jié)構(gòu)如圖所示。此方案的核心設(shè)備就是NetApp公司的NearStore存儲設(shè)備，如NearStore R2000（如圖所示）。HSM服務(wù)器可以是任何配置相應(yīng)HSM軟件的服務(wù)器，甚至PC機。
 
 

 NetApp NearStore R200

    NetApp NearStore R200 系統(tǒng)是一個磁盤近線存儲系統(tǒng)，它結(jié)合了Data ONTAP操作系統(tǒng)功能強大的特點與ATA磁盤驅(qū)動器成本低廉的特點。NearStore能夠以接近磁帶的存儲成本提供接近主存儲系統(tǒng)的性能。NearStore R200系統(tǒng)可以從8TB擴展到96TB，它既能為中小型企業(yè)帶來價值，也能為需要實施或增強其存儲基礎(chǔ)設(shè)施的全球性企業(yè)客戶帶來價值。NearStore近線存儲設(shè)備和HSM服務(wù)器都通過交換機連接，而其它本地存儲設(shè)備可直接掛接在HSM服務(wù)器上。

    NearStore近線存儲設(shè)備在如下圖所示的三層存儲體系結(jié)構(gòu)的應(yīng)用程序存儲和磁帶庫之間插入經(jīng)濟而易用的磁盤式存儲，從而完美地補充并顯著地改善現(xiàn)有的磁帶備份、存檔與數(shù)據(jù)保護方案。

    NearStore通過合并NetApp系統(tǒng)和其他存儲設(shè)備的近線負載數(shù)據(jù)，進一步加強了數(shù)據(jù)保護和管理。 
 

    這一方案具有以下幾個方面的特點：

    （1）大多數(shù)HSM方案中，應(yīng)用程序的源卷必須為本地磁盤或能提供基于塊的界面，不能以CIFS或NFS方式進行安裝。而在NearStore的HSM方案中，目標卷可以是HSM服務(wù)器上以CIFS或NFS方式安裝的卷。這樣，文件就可在源卷和NearStore卷間進行復(fù)制。管理員還可定義清除規(guī)則，從而將源卷上的文件變?yōu)橐粋€指針，指向其在NearStore上的對應(yīng)文件。根據(jù)操作系統(tǒng)的不同，簡單情況下指針可以為符號鏈接或CIFS快捷方式，復(fù)雜情況下則可以為源文件系統(tǒng)中的占位程序。清除規(guī)則可由磁盤容量標記觸發(fā)，或者由執(zhí)行磁盤掃描過程觸發(fā)。此外，客戶還可使用刪除規(guī)則將文件從源和NearStore卷中刪除。

    （2）通常，存檔產(chǎn)品按“時間點復(fù)制”的模式工作，將存在于某個特定時間點的數(shù)據(jù)取出，并將其復(fù)制、移動或遷移到目標卷中去。而NearStore HSM產(chǎn)品則通常按照連續(xù)方式工作。如果文件與預(yù)先定義的規(guī)則或策略相匹配，即可立刻進行遷移。

    （3）存檔產(chǎn)品需要由管理員或由按時間表運行的操作系統(tǒng)調(diào)用。NearStore HSM產(chǎn)品則采用服務(wù)或守護程序，它們能隨時監(jiān)聽請求、截取請求并采取行動。

    （4）一些HSM產(chǎn)品還提供復(fù)雜的存儲虛擬技術(shù)，從而客戶可將所有可用的存儲看作一個巨大的磁盤。存檔應(yīng)用程序則不具備該功能。

    分級存儲產(chǎn)品和方案還有許多，因篇幅關(guān)系在此就不多介紹了。

    來源：E-WORKS