用寫(xiě)入卸載技術(shù)降低日益龐大的能耗開(kāi)支

申請(qǐng)免費(fèi)試用、咨詢電話：400-8352-114

本文作者是來(lái)自于英國(guó)微軟劍橋研究院的Dushyanth Narayanan，Austin Donnelly以及Antony Rowstron。

能耗管理是企業(yè)數(shù)據(jù)中心的主要問(wèn)題之一，它影響到服務(wù)器密度和總擁有成本。電能管理正在改變數(shù)據(jù)中心設(shè)置和管理。一些組件已經(jīng)支持電能管理功能：例如，服務(wù)器CPU可以使用低能耗狀態(tài)，動(dòng)態(tài)時(shí)鐘和電壓調(diào)節(jié)來(lái)顯著減少閑置期的電能消耗。企業(yè)存儲(chǔ)子系統(tǒng)沒(méi)有這么先進(jìn)的電能管理功能，并在數(shù)據(jù)中心消耗很大部分電能。一個(gè)企業(yè)級(jí)磁盤(pán)，比如希捷Cheetah 15K.4，即使在閑置狀態(tài)下每小時(shí)也要消耗12W電能，而雙核的英特爾Xeon處理器在閑置的時(shí)候每小時(shí)消耗24W電能。因此，在一個(gè)帶雙核處理器和兩個(gè)磁盤(pán)的設(shè)備中，磁盤(pán)和處理器的電能消耗量是一樣的。但是，在通常的數(shù)據(jù)中心中，一個(gè)核心服務(wù)器平均擁有超過(guò)13個(gè)磁盤(pán)。

簡(jiǎn)單地購(gòu)買(mǎi)更少的磁盤(pán)并不是常用的解決方案，因?yàn)檫@會(huì)導(dǎo)致高峰性能和/或容量的減少。另一種方案就是在磁盤(pán)閑置的時(shí)候?qū)⒋疟P(pán)降速。傳統(tǒng)的觀點(diǎn)是服務(wù)器工作負(fù)荷閑置的時(shí)間過(guò)短，因此這種方法不能奏效。不過(guò)，通過(guò)我們對(duì)實(shí)際的服務(wù)器工作負(fù)荷的分析，我們發(fā)現(xiàn)存儲(chǔ)卷層面實(shí)際上有很多閑置時(shí)間。我們同時(shí)還預(yù)計(jì)--同時(shí)前面的工作已經(jīng)證實(shí)--主記憶體高速緩存可以有效地吸收讀取操作，但是對(duì)寫(xiě)入的效果則不佳。因此，我們預(yù)計(jì)，當(dāng)所有的傳輸都是寫(xiě)入傳輸?shù)臅r(shí)候，存儲(chǔ)層面將很少閑置時(shí)間。我們的分析表明確實(shí)是這樣，在很大部分時(shí)間中，請(qǐng)求流是寫(xiě)入主導(dǎo)的。

這個(gè)分析推動(dòng)了我們稱(chēng)之為寫(xiě)入卸載的技術(shù)（write off-loading）。該技術(shù)可以讓寫(xiě)入某卷的塊重定向到數(shù)據(jù)中心中的其他存儲(chǔ)。在寫(xiě)入操作為主導(dǎo)的期間，磁盤(pán)被降速，然后寫(xiě)入被重定向，使得卷的一些塊被卸載。塊的卸載是臨時(shí)的，時(shí)間有可能是數(shù)分鐘，也有可能是數(shù)小時(shí)，在主卷的磁盤(pán)恢復(fù)正常速度后，可以在后臺(tái)慢慢地重新回收這些塊。

寫(xiě)入卸載改變了卷前訪問(wèn)模式，使得所有的磁盤(pán)都可以在同一閑置期間降速。根據(jù)我們的觀察，這使得各個(gè)卷的平均閑置時(shí)間達(dá)到了79%。這樣做的缺點(diǎn)就是，如果需要對(duì)沒(méi)有卸載的塊進(jìn)行讀取操作，那么隨著磁盤(pán)恢復(fù)正常速度，會(huì)有很大的延遲。不過(guò)，我們的觀察表明這種情況的幾率很小。

寫(xiě)入卸載是在塊層面部署的，對(duì)文件系統(tǒng)和服務(wù)器上運(yùn)行的應(yīng)用程序是透明的。塊可以從任何一個(gè)卷卸載到數(shù)據(jù)中心任何可用的持續(xù)存儲(chǔ)，卸載后的目標(biāo)地址可以是在同一個(gè)設(shè)備內(nèi)也可以是在另一個(gè)設(shè)備中。存儲(chǔ)介質(zhì)可以是磁盤(pán)、NVRAM（非易失性隨機(jī)存儲(chǔ)記憶體）或固態(tài)記憶體，比如閃存。卸載使用的是現(xiàn)有卷的空余容量和帶寬，因此不需要配置額外的存儲(chǔ)。寫(xiě)入卸載還可以用于各種存儲(chǔ)架構(gòu)。我們的跟蹤分析和評(píng)估都是基于直連式存儲(chǔ)（DAS）模式，在這種模式中，每臺(tái)服務(wù)器都是直接連到一套磁盤(pán)，這些磁盤(pán)通常設(shè)置為一個(gè)或多個(gè)RAID（獨(dú)立磁盤(pán)冗余陣列）陣列。DAS是小型數(shù)據(jù)中心（比如服務(wù)于單個(gè)辦公建筑物的數(shù)據(jù)中心）典型的設(shè)置。寫(xiě)入卸載還可以用于網(wǎng)絡(luò)附加存儲(chǔ)（NAS）和存儲(chǔ)局域網(wǎng)（SAN）。

在進(jìn)行寫(xiě)入卸載的時(shí)候，一個(gè)主要的挑戰(zhàn)就是如何確保一致性。每個(gè)寫(xiě)入請(qǐng)求會(huì)根據(jù)一系列標(biāo)準(zhǔn)（包括電能狀態(tài)和目標(biāo)地址的當(dāng)前負(fù)載）卸載到另外一處地方。這種每次操作都進(jìn)行的負(fù)載均衡可以改善性能，但是同時(shí)也意味著同一邏輯塊的連續(xù)寫(xiě)入被卸載到不同的地點(diǎn)。因此必須保證原始卷的一致性（即使在在發(fā)生故障的情況下）。我們的方法是，保存足夠的元數(shù)據(jù)以反映每個(gè)卸載寫(xiě)入的信息，這樣就可以在故障發(fā)生后重新構(gòu)建每個(gè)塊的最近一個(gè)版本。這種元數(shù)據(jù)在記憶體中予以高速緩存，處于軟狀態(tài)中，以便能夠快速訪問(wèn)。

寫(xiě)入卸載同時(shí)還可以維護(hù)數(shù)據(jù)的持久性和可靠性。卸載后的目標(biāo)地點(diǎn)可以限定為遠(yuǎn)程站點(diǎn)，這些遠(yuǎn)程站點(diǎn)應(yīng)有和卸載卷一樣的容錯(cuò)機(jī)制或更強(qiáng)的容錯(cuò)機(jī)制，即RAID卷只能卸載到其他的RAID卷。此外，卸載機(jī)制同時(shí)還支持遠(yuǎn)程復(fù)制，也就是說(shuō)，每個(gè)卸載后的寫(xiě)入操作都可以發(fā)送到多個(gè)遠(yuǎn)程站點(diǎn)。

卷訪問(wèn)模式

傳統(tǒng)觀點(diǎn)認(rèn)為，因?yàn)榉?wù)器工作負(fù)荷閑置時(shí)間過(guò)短，讓旋轉(zhuǎn)中的磁盤(pán)降速并不能帶來(lái)很好的效果。不過(guò)，許多企業(yè)級(jí)服務(wù)器的I/O密集程度低于TPC標(biāo)桿--TPC標(biāo)桿特意將標(biāo)準(zhǔn)設(shè)得比較高以測(cè)試系統(tǒng)在壓力狀態(tài)下的表現(xiàn)。在不同時(shí)間里，企業(yè)負(fù)載的起伏波動(dòng)也比較大，比如在全日模式下。

為了更好地理解標(biāo)準(zhǔn)的數(shù)據(jù)中心服務(wù)器的I/O模式，我們跟蹤我們大樓里的數(shù)據(jù)中心，以便獲得每個(gè)卷在一周時(shí)間內(nèi)的塊層次上的跟蹤數(shù)據(jù)。我們總共跟蹤了36個(gè)卷，包括13個(gè)服務(wù)器上的179個(gè)磁盤(pán)。系統(tǒng)啟動(dòng)卷都是RAID-1的，其他都是RAID-5的。

我們認(rèn)為這些服務(wù)器、數(shù)據(jù)卷和它們的訪問(wèn)模式可以代表很大部分中小型企業(yè)數(shù)據(jù)中心的狀況。雖然系統(tǒng)卷的訪問(wèn)模式可能依賴(lài)于服務(wù)器的操作系統(tǒng)，但是在數(shù)據(jù)卷中，訪問(wèn)模式的差別很小。

我們采集了文件系統(tǒng)下每個(gè)卷的狀態(tài)，并采集了36個(gè)卷上所有塊層次讀取和寫(xiě)入操作。跟蹤時(shí)間為168個(gè)小時(shí)（一周時(shí)間），從2007年2月22日GMT（格林尼治時(shí)間）下午5點(diǎn)開(kāi)始。我們使用Event Tracing ForWindows（ETW：Windows事件跟蹤）來(lái)采集數(shù)據(jù)，每個(gè)事件都是一個(gè)I/O請(qǐng)求。我們可以看到每個(gè)Windows磁盤(pán)設(shè)備（也就是卷）的事件，其信息包括時(shí)間，磁盤(pán)號(hào)碼，起始邏輯塊號(hào)碼，被傳輸?shù)膲K的數(shù)量，傳輸類(lèi)型（讀取或?qū)懭耄?。跟蹤到的總?qǐng)求數(shù)為4.34億個(gè)，其中70%是寫(xiě)入請(qǐng)求；跟蹤數(shù)據(jù)的總大小為29GB。在跟蹤期間，總共有8.5TB的數(shù)據(jù)被讀取，2.3TB的數(shù)據(jù)被寫(xiě)入。

整體上，總的工作負(fù)荷是讀取主導(dǎo)的：讀取與寫(xiě)入請(qǐng)求之比為2.37。不過(guò)，在36個(gè)卷中，有19個(gè)卷的讀取/寫(xiě)入比率低于1.0，而且這些卷整體的讀取/寫(xiě)入比率僅有0.18。進(jìn)一步的分析表明，在大部分卷中，讀取工作負(fù)荷是突發(fā)的。因此，從直覺(jué)上來(lái)看，將寫(xiě)入請(qǐng)求從工作負(fù)荷中移去可以極大地增加閑置時(shí)間。

能耗節(jié)約 vs 性能

通過(guò)在硬件測(cè)試床中重播這些跟蹤，我們衡量了寫(xiě)入卸載對(duì)能耗節(jié)約和性能的影響。我們采用的測(cè)試床使用的是典型的高性能存儲(chǔ)硬件：希捷Cheetah 1.5萬(wàn)轉(zhuǎn)磁盤(pán)和惠普SmartArray 6400 RAID控制器。從一周的跟蹤結(jié)果中，我們重播了兩天的所有卷跟蹤：I/O請(qǐng)求閑置時(shí)間最長(zhǎng)的一天和最短的一天。

我們看到，僅僅是在閑置的時(shí)候?qū)⒋疟P(pán)降速就可以節(jié)約很多能源；啟用寫(xiě)入卸載功能則可以節(jié)約更多的能源，而且這種能耗節(jié)約在寫(xiě)入卸載范圍增大的時(shí)候也隨之增加。通過(guò)機(jī)架層面的卸載，當(dāng)工作負(fù)荷比較低且寫(xiě)入操作占主導(dǎo)的時(shí)候，一個(gè)正常速度的卷就可以吸收整個(gè)機(jī)架寫(xiě)入卸載，也就是說(shuō)所有其他卷都可以實(shí)現(xiàn)降速。

不過(guò)，磁盤(pán)降速會(huì)犧牲一定的性能。發(fā)送給降速卷的請(qǐng)求會(huì)遭到一定的延遲：雖然這種情況的發(fā)生幾率比較小，但是響應(yīng)時(shí)間會(huì)變長(zhǎng)許多。我們注意到"普通的"磁盤(pán)降速會(huì)導(dǎo)致讀取和寫(xiě)入的響應(yīng)時(shí)間增加許多，但是如果啟用機(jī)架層次的寫(xiě)入卸載功能，則寫(xiě)入操作的響應(yīng)時(shí)間幾乎不會(huì)受到任何影響。實(shí)際上，通過(guò)在多個(gè)卷上對(duì)突發(fā)寫(xiě)入的負(fù)載均衡，以及通過(guò)在遠(yuǎn)程卷上使用寫(xiě)入優(yōu)化后的日志布局，寫(xiě)入卸載改善了平均響應(yīng)時(shí)間。通過(guò)設(shè)備層面上的卸載，最差情況下的響應(yīng)時(shí)間得到了稍微改善：這是因?yàn)橛袝r(shí)我們一個(gè)配置良好但已經(jīng)降速的卷會(huì)遇到突發(fā)的寫(xiě)入，這時(shí)只好將寫(xiě)入卸載到同一設(shè)備上另一個(gè)配置稍差的卷。通過(guò)機(jī)架層面的卸載，這種情況就不是問(wèn)題了，因?yàn)橥话l(fā)寫(xiě)入可以在不同服務(wù)器上的多個(gè)卷中進(jìn)行負(fù)載均衡。

降速和寫(xiě)入卸載都可以在每個(gè)卷上進(jìn)行（一個(gè)給定的卷可以設(shè)置成可以進(jìn)行卸載，或者可以接收卸載后的寫(xiě)入，或兩者皆可，或兩者皆不可），管理員不應(yīng)該在承載應(yīng)用程序的卷上啟用降速功能，以防應(yīng)用程序遭到性能上的損失。一般來(lái)說(shuō)，系統(tǒng)卷也不能啟用寫(xiě)入卸載功能，以防系統(tǒng)數(shù)據(jù)（比如操作系統(tǒng)包）被卸載。

小結(jié)

由于全日制使用模式，許多服務(wù)器的I/O工作負(fù)荷在卷層面上都有較多的閑置時(shí)間。我們可以挖掘這些閑置時(shí)間，并通過(guò)使閑置卷的磁盤(pán)降速或使其進(jìn)入節(jié)電模式，實(shí)現(xiàn)可觀的電能節(jié)約。如果我們能夠利用寫(xiě)入卸載來(lái)延長(zhǎng)閑置時(shí)間，那么企業(yè)存儲(chǔ)硬件，比如磁盤(pán)、RAID控制器等硬件，則可以通過(guò)降速節(jié)能模式實(shí)現(xiàn)更多的電能節(jié)約。