淘寶數(shù)據(jù)庫(kù)專家深入解析數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)

申請(qǐng)免費(fèi)試用、咨詢電話：400-8352-114

2007年淘寶的交易額已經(jīng)超過(guò)了沃爾瑪和家樂(lè)福在中國(guó)的銷售額的總和，占據(jù)中國(guó)網(wǎng)購(gòu)市場(chǎng)70%以上的份額。在這些成倍數(shù)增長(zhǎng)的業(yè)績(jī)數(shù)字背后，需要數(shù)據(jù)庫(kù)技術(shù)來(lái)支持企業(yè)未來(lái)持續(xù)成長(zhǎng)的延展空間。淘寶網(wǎng)資深數(shù)據(jù)庫(kù)專家江楓在接受51CTO記者專訪時(shí)，分享了淘寶2004年開(kāi)始構(gòu)建的企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)。

淘寶將數(shù)據(jù)倉(cāng)庫(kù)部署在Oracle RAC上，這是一個(gè)由20個(gè)節(jié)點(diǎn)組成的單一數(shù)據(jù)庫(kù)集群?！盀榱烁玫亓私饪蛻舻男枨?，分析和挖掘淘寶后臺(tái)大量數(shù)據(jù)信息的價(jià)值，2007年、2008年我們先后兩次利用Oracle RAC 10g對(duì)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)進(jìn)行了升級(jí)和擴(kuò)充，節(jié)點(diǎn)數(shù)從4個(gè)升級(jí)到12個(gè)，后來(lái)又升級(jí)到了20個(gè)節(jié)點(diǎn)”，江楓談到：“2009年開(kāi)始我們也在測(cè)試Oracle 11g。這樣的升級(jí)令淘寶在數(shù)據(jù)倉(cāng)庫(kù)規(guī)模每年成倍擴(kuò)大的情況下，實(shí)現(xiàn)了數(shù)據(jù)處理和分析時(shí)效性的不斷提升?！?/P>

淘寶所有的商業(yè)數(shù)據(jù)基本上都匯集到了數(shù)據(jù)倉(cāng)庫(kù)利中。利用數(shù)據(jù)倉(cāng)庫(kù)技術(shù)，淘寶抽取了分散在不同業(yè)務(wù)系統(tǒng)中的業(yè)務(wù)數(shù)據(jù)進(jìn)行集中，這些信息是完整記錄了用戶訪問(wèn)路徑、交易過(guò)程的海量數(shù)據(jù)。通過(guò)數(shù)據(jù)倉(cāng)庫(kù)的清洗、整理、過(guò)濾、排序等技術(shù)手段，這些海量的數(shù)據(jù)形成了具有商業(yè)價(jià)值的業(yè)務(wù)信息，并生成反映最新市場(chǎng)現(xiàn)狀的統(tǒng)計(jì)分析數(shù)據(jù)報(bào)表?！艾F(xiàn)在淘寶每天的活躍數(shù)據(jù)超過(guò)50TB”，江楓說(shuō)：“這些數(shù)據(jù)是每天進(jìn)行動(dòng)態(tài)分析的，這樣淘寶在交易中也更好的提供了精準(zhǔn)的個(gè)性化服務(wù)?！?/P>

數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)分析

淘寶數(shù)據(jù)倉(cāng)庫(kù)中的許多業(yè)務(wù)查詢與分析都是動(dòng)態(tài)的，數(shù)據(jù)處理量大，實(shí)效性較高?！癘racle RAC具有非常好的并行處理能力，這對(duì)動(dòng)態(tài)查詢和模糊查詢有很大幫助，能夠有效滿足淘寶數(shù)據(jù)倉(cāng)庫(kù)這種復(fù)雜和動(dòng)態(tài)的海量數(shù)據(jù)分析處理需求”，江楓認(rèn)為“對(duì)于淘寶這樣處于新興行業(yè)中且高速發(fā)展的企業(yè)來(lái)說(shuō)，數(shù)據(jù)倉(cāng)庫(kù)良好的線性擴(kuò)展能力也極為重要，它可以使得淘寶在需要的時(shí)候，通過(guò)向集群中增加低成本的普通服務(wù)器來(lái)滿足高性能的數(shù)據(jù)處理需求，從而獲得很好的投入產(chǎn)出比?！?/P>

Oracle RAC的線性擴(kuò)展能夠始終提供整個(gè)企業(yè)統(tǒng)一的信息視圖和數(shù)據(jù)集市，而不會(huì)像一些擴(kuò)展能力有限的系統(tǒng)那樣，隨著數(shù)據(jù)量的增長(zhǎng)，系統(tǒng)性能逐漸下降，最后不得不將數(shù)據(jù)分離，建立多個(gè)小規(guī)模的數(shù)據(jù)集市，造成管理和數(shù)據(jù)訪問(wèn)的困難。

對(duì)于大型數(shù)據(jù)倉(cāng)庫(kù)的應(yīng)用系統(tǒng)，淘寶在建立初期就考慮到如何能有效而簡(jiǎn)單地進(jìn)行系統(tǒng)管理。特別是當(dāng)數(shù)據(jù)量不斷擴(kuò)大時(shí)，如果沒(méi)有一種有效而且簡(jiǎn)單的系統(tǒng)管理措施，那么系統(tǒng)的運(yùn)行費(fèi)用將會(huì)很高。江楓說(shuō)：“Oracle ASM中提供了磁盤管理、數(shù)據(jù)流量平衡以及自動(dòng)創(chuàng)建和刪除數(shù)據(jù)文件等管理功能，有效的增加了數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)管理動(dòng)態(tài)數(shù)據(jù)庫(kù)環(huán)境的靈活性，降低了管理成本?！?/P>

數(shù)據(jù)挖掘?qū)崿F(xiàn)全面的商業(yè)智能

在近期推出的《i淘寶》個(gè)性化推薦的計(jì)算中，通過(guò)使用Oracle RAC 跨節(jié)點(diǎn)并行技術(shù)?！疤詫殧?shù)據(jù)倉(cāng)庫(kù)實(shí)現(xiàn)了相關(guān)模塊計(jì)算時(shí)間的顯著縮短，最多的縮短了2小時(shí)以上，最少的也縮短了30分鐘，為淘寶成功實(shí)施個(gè)性化推薦提供了重要保障”，江楓進(jìn)一步指出：“淘寶還將利用數(shù)據(jù)倉(cāng)庫(kù)為用戶提供更多的服務(wù)，比如提供店鋪內(nèi)推薦、精確郵件定向營(yíng)銷以及購(gòu)物風(fēng)尚榜等服務(wù)項(xiàng)目，這些服務(wù)項(xiàng)目和數(shù)據(jù)指標(biāo)在前臺(tái)使用起來(lái)非常簡(jiǎn)單，其實(shí)它們都是來(lái)自于海量數(shù)據(jù)的高度濃縮，Oracle RAC的高性能平臺(tái)很好地支持了這些非常復(fù)雜的計(jì)算過(guò)程。”

淘寶的研發(fā)團(tuán)隊(duì)有超過(guò)2000人的規(guī)模，其中做數(shù)據(jù)產(chǎn)品的技術(shù)團(tuán)隊(duì)超過(guò)100人，包括30多名DBA專家組成的團(tuán)隊(duì)。抽取分布在不同環(huán)境下的數(shù)據(jù)集中到數(shù)據(jù)倉(cāng)庫(kù)中的工具ETL，就是淘寶的技術(shù)團(tuán)隊(duì)自己研發(fā)的?！斑@個(gè)叫做天網(wǎng)的系統(tǒng)，也是基于Oracle開(kāi)放的架構(gòu)平臺(tái)之上完成的”，江楓說(shuō)：“對(duì)于二次研發(fā)的把控性來(lái)說(shuō)，我們更愿意選擇開(kāi)放架構(gòu)的平臺(tái)，同時(shí)對(duì)于不同的大存儲(chǔ)量或者大規(guī)模的產(chǎn)品語(yǔ)句來(lái)評(píng)估Oracle的解決方案，他都是更適合淘寶業(yè)務(wù)的一個(gè)選擇，事實(shí)也證明了這一點(diǎn)?！?/P>

未來(lái)淘寶的定位會(huì)是一家數(shù)據(jù)公司，所以數(shù)據(jù)將是淘寶的核心價(jià)值所在。數(shù)據(jù)不僅讓淘寶的用戶有更明確的市場(chǎng)定位，同時(shí)，對(duì)于淘寶內(nèi)部來(lái)說(shuō)，根據(jù)不同用戶在數(shù)據(jù)上顯示出的不同特性，對(duì)淘寶的運(yùn)營(yíng)策略是非常重要的數(shù)據(jù)支持。從數(shù)據(jù)管理的角度，淘寶也有自己的一整套監(jiān)控系統(tǒng)進(jìn)行支持，包括防欺詐、防惡意數(shù)據(jù)等?！疤詫毸械臄?shù)據(jù)至少是1比1的在兩個(gè)機(jī)房同時(shí)備份來(lái)保證數(shù)據(jù)安全，當(dāng)然也包括有異地的數(shù)據(jù)備份機(jī)制”，江楓談到：“我們可以保證一個(gè)機(jī)房在斷電或者是火災(zāi)的情況下，另外一個(gè)機(jī)房在很短的時(shí)間內(nèi)繼續(xù)向淘寶網(wǎng)的用戶提供服務(wù)?！?/P>