概念解析：數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)集市

申請(qǐng)免費(fèi)試用、咨詢電話：400-8352-114

數(shù)據(jù)倉(cāng)庫(kù)

20世紀(jì)80年代中期，“數(shù)據(jù)倉(cāng)庫(kù)之父”Wiliam H.Inmon先生認(rèn)為：數(shù)據(jù)倉(cāng)庫(kù)（Data Warehouse）是在企業(yè)管理和決策中面向主題的（Subject Oriented）、集成的（Integrate）、與時(shí)間相關(guān)的（Time Variant）、但信息本身又相對(duì)穩(wěn)定的（Non-Volatile）數(shù)據(jù)集合。與其他數(shù)據(jù)庫(kù)應(yīng)用不同的是，數(shù)據(jù)倉(cāng)庫(kù)更像一種過(guò)程，是對(duì)分布在企業(yè)內(nèi)部各處業(yè)務(wù)數(shù)據(jù)的整合、加工和分析的過(guò)程，而不是一種可以購(gòu)買(mǎi)的產(chǎn)品。

數(shù)據(jù)集市可稱作“小數(shù)據(jù)倉(cāng)庫(kù)”，是用來(lái)分析相關(guān)專門(mén)業(yè)務(wù)問(wèn)題或功能目標(biāo)而做的專項(xiàng)數(shù)據(jù)集合。它建立在具有統(tǒng)一數(shù)據(jù)存儲(chǔ)模型的數(shù)據(jù)倉(cāng)庫(kù)下，各級(jí)業(yè)務(wù)人員按照各部門(mén)特定的需求把數(shù)據(jù)進(jìn)行復(fù)制、處理、加工，并最終統(tǒng)一展現(xiàn)為有部門(mén)特點(diǎn)的數(shù)據(jù)集合。

1 數(shù)據(jù)倉(cāng)庫(kù)的體系結(jié)構(gòu)

Ralph Kimball和Bill Inmon一直是商業(yè)智能領(lǐng)域中的革新者，開(kāi)發(fā)并測(cè)試了新的技術(shù)和體系結(jié)構(gòu)。Kimball和Inmon同意組織需要一個(gè)與遺留系統(tǒng)和OLTP系統(tǒng)分開(kāi)的數(shù)據(jù)倉(cāng)庫(kù)，以捕獲組織的有關(guān)信息并使之可用。數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)應(yīng)該是凈化的、一致的，并且不受其來(lái)源的遺留系統(tǒng)和OLTP系統(tǒng)設(shè)計(jì)的牽制。在開(kāi)始第一個(gè)數(shù)據(jù)集市之前，他們還同意用針對(duì)整個(gè)體系結(jié)構(gòu)的思想重復(fù)構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)。

Bill Inmon將數(shù)據(jù)倉(cāng)庫(kù)定義為“一個(gè)面向主題的、集成的、隨時(shí)間變化的、非易變的用于支持管理的決策過(guò)程的數(shù)據(jù)集合”。Inmon通過(guò)“面向主題”表示應(yīng)該圍繞主題來(lái)組織數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)，每個(gè)主題區(qū)域僅僅包含與該主題相關(guān)的信息。數(shù)據(jù)倉(cāng)庫(kù)應(yīng)該一次增加一個(gè)主題，并且當(dāng)需要容易地訪問(wèn)多個(gè)主題時(shí)，應(yīng)該創(chuàng)建以數(shù)據(jù)倉(cāng)庫(kù)為來(lái)源的數(shù)據(jù)集市。

Ralph Kimball說(shuō)“數(shù)據(jù)倉(cāng)庫(kù)僅僅是構(gòu)成它的數(shù)據(jù)集市的聯(lián)合”。他認(rèn)為“可以通過(guò)一系列維數(shù)相同的數(shù)據(jù)集市遞增地構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)”，通過(guò)使用“一致的”維，能夠共同看到不同數(shù)據(jù)集市中的信息，這表示它們擁有公共定義的元素。Kimbal的方法將提供集成的數(shù)據(jù)來(lái)回答組織迫切的業(yè)務(wù)問(wèn)題并且要快于Inmon的方法。Inmon的方法是只有在構(gòu)建幾個(gè)單主題區(qū)域之后，集中式的數(shù)據(jù)倉(cāng)庫(kù)才創(chuàng)建數(shù)據(jù)集市，而Kimbal認(rèn)為該方法缺乏靈活性，并且在現(xiàn)在的商業(yè)環(huán)境中所花時(shí)間太長(zhǎng)。

實(shí)際上，方法的選擇取決于項(xiàng)目的主要商業(yè)驅(qū)動(dòng)。如果該組織正忍受糟糕的數(shù)據(jù)管理和不一致的數(shù)據(jù)，那么Inmon的方法就更好一些；如果該組織迫切需要給用戶提供信息，那么Kimbal的方法將滿足該需求。數(shù)據(jù)倉(cāng)庫(kù)將使數(shù)據(jù)集市與遺留系統(tǒng)和OLTP系統(tǒng)隔離，并且支持更快地創(chuàng)建將來(lái)的數(shù)據(jù)集市。

遺憾的是，個(gè)別部門(mén)經(jīng)常濫用Kimball的方法，并將之作為脫離集中控制而構(gòu)建他們自己數(shù)據(jù)集市的借口。當(dāng)試圖跨集市訪問(wèn)數(shù)據(jù)以獲取聯(lián)合視圖時(shí)，這將造成嚴(yán)重問(wèn)題，而集中式信息體系結(jié)構(gòu)將避免這一點(diǎn)。

2 數(shù)據(jù)倉(cāng)庫(kù)的構(gòu)建

對(duì)于數(shù)據(jù)倉(cāng)庫(kù)的概念，我們可以從兩個(gè)層次予以理解：首先，數(shù)據(jù)倉(cāng)庫(kù)用于支持決策，面向分析型數(shù)據(jù)處理，它不同于企業(yè)現(xiàn)有的操作型數(shù)據(jù)庫(kù)；其次，數(shù)據(jù)倉(cāng)庫(kù)是對(duì)多個(gè)異構(gòu)數(shù)據(jù)源的有效集成，集成后按照主題進(jìn)行了重組，并包含歷史數(shù)據(jù)，而且存放在數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)一般不再修改。

根據(jù)數(shù)據(jù)倉(cāng)庫(kù)概念的含義，數(shù)據(jù)倉(cāng)庫(kù)擁有以下4個(gè)特點(diǎn)：

（1）面向主題的。操作型數(shù)據(jù)庫(kù)的數(shù)據(jù)組織面向事務(wù)處理任務(wù)，各個(gè)業(yè)務(wù)系統(tǒng)之間各自分離，而數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)按照一定的主題域進(jìn)行組織。

（2）集成的。面向事務(wù)處理的操作型數(shù)據(jù)庫(kù)通常與某些特定的應(yīng)用相關(guān)，數(shù)據(jù)庫(kù)之間相互獨(dú)立，并且往往是異構(gòu)的；而數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)是在對(duì)原有分散的數(shù)據(jù)庫(kù)數(shù)據(jù)抽取、清理的基礎(chǔ)上經(jīng)過(guò)系統(tǒng)加工、匯總和整理得到的，必須消除源數(shù)據(jù)中的不一致性，以保證數(shù)據(jù)倉(cāng)庫(kù)內(nèi)的信息是關(guān)于整個(gè)企業(yè)一致的全局信息。

（3）相對(duì)穩(wěn)定的。操作型數(shù)據(jù)庫(kù)中的數(shù)據(jù)通常實(shí)時(shí)更新，數(shù)據(jù)根據(jù)需要及時(shí)發(fā)生變化。數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)主要供企業(yè)決策分析之用，所涉及的數(shù)據(jù)操作主要是數(shù)據(jù)查詢，一旦某個(gè)數(shù)據(jù)進(jìn)人數(shù)據(jù)倉(cāng)庫(kù)以后，一般情況下將被長(zhǎng)期保留。

（4）反映歷史變化。操作型數(shù)據(jù)庫(kù)主要關(guān)心當(dāng)前某一個(gè)時(shí)間段內(nèi)的數(shù)據(jù)，而數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)通常包含歷史信息，系統(tǒng)記錄了企業(yè)從過(guò)去某一時(shí)點(diǎn)到目前的各個(gè)階段的信息，通過(guò)這些信息，可以對(duì)企業(yè)的發(fā)展歷程和未來(lái)趨勢(shì)作出定量分析和預(yù)測(cè)。

企業(yè)數(shù)據(jù)倉(cāng)庫(kù)的建設(shè)是以現(xiàn)有企業(yè)業(yè)務(wù)系統(tǒng)和業(yè)務(wù)數(shù)據(jù)的積累為基礎(chǔ)。數(shù)據(jù)倉(cāng)庫(kù)不是靜態(tài)的概念，只有把信息及時(shí)交給需要這些信息的使用者，供他們做出改善其業(yè)務(wù)經(jīng)營(yíng)的決策，信息才能發(fā)揮作用，而把信息加以整理歸納和重組，并及時(shí)提供給相應(yīng)的管理決策人員，是數(shù)據(jù)倉(cāng)庫(kù)的根本任務(wù)。

整個(gè)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)是一個(gè)包含4個(gè)層次的體系結(jié)構(gòu)，具體結(jié)構(gòu)見(jiàn)圖1。

圖1 數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)結(jié)構(gòu)圖

數(shù)據(jù)源：是數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的基礎(chǔ)，是整個(gè)系統(tǒng)的數(shù)據(jù)源泉，通常包括企業(yè)內(nèi)部信息和外部信息。內(nèi)部信息包括存放于RDBMS中的各種業(yè)務(wù)處理數(shù)據(jù)和各類文檔數(shù)據(jù)；外部信息包括各類法律法規(guī)、市場(chǎng)信息和競(jìng)爭(zhēng)對(duì)手的信息等等。

數(shù)據(jù)的存儲(chǔ)與管理：是整個(gè)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的核心。數(shù)據(jù)倉(cāng)庫(kù)的真正關(guān)鍵是數(shù)據(jù)的存儲(chǔ)和管理。數(shù)據(jù)倉(cāng)庫(kù)的組織管理方式?jīng)Q定了它有別于傳統(tǒng)數(shù)據(jù)庫(kù)，同時(shí)也決定了其對(duì)外部數(shù)據(jù)的表現(xiàn)形式。數(shù)據(jù)倉(cāng)庫(kù)按照數(shù)據(jù)的覆蓋范圍可以分為企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)和部門(mén)級(jí)數(shù)據(jù)倉(cāng)庫(kù)（通常稱為數(shù)據(jù)集市）。

OLAP服務(wù)器：對(duì)分析需要的數(shù)據(jù)進(jìn)行有效集成，按多維模型予以組織，以便進(jìn)行多角度、多層次的分析，并發(fā)現(xiàn)趨勢(shì)。

前端工具：主要包括各種報(bào)表工具、查詢工具、數(shù)據(jù)分析工具、數(shù)據(jù)挖掘工具以及各種基于數(shù)據(jù)倉(cāng)庫(kù)或數(shù)據(jù)集市的應(yīng)用開(kāi)發(fā)工具。

3 數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)的評(píng)測(cè)指標(biāo)

目前，專門(mén)針對(duì)數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)的評(píng)測(cè)指標(biāo)，主要是由TPC組織開(kāi)發(fā)的TPC-D。TPC是交易處理委員會(huì)（Transaction Processing Performance Council）的英文縮寫(xiě)，是一個(gè)國(guó)際性的組織.專門(mén)負(fù)責(zé)為各種開(kāi)放平臺(tái)在不同類型的應(yīng)用制訂一個(gè)統(tǒng)一、公正的測(cè)試標(biāo)準(zhǔn)。

對(duì)于數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)，TPC-D主要考慮三方面的數(shù)據(jù)需要：

QppD：是Query Processing Power D的縮寫(xiě)，D表示這個(gè)結(jié)果是按照TPC-D標(biāo)準(zhǔn)測(cè)得的（下同），這個(gè)數(shù)據(jù)描述了系統(tǒng)的查詢處理能力。

QthD：是Query Throughput D的縮寫(xiě)，即流量測(cè)試結(jié)果，描述了系統(tǒng)在多個(gè)用戶同時(shí)進(jìn)行查詢時(shí)的處理能力。

QphD：是Query Price-Performance的縮寫(xiě)，即性能價(jià)格比。

顯然，前面兩個(gè)指標(biāo)的數(shù)據(jù)越大越好，而最后一個(gè)則越小越好。TPC-D的測(cè)試是在不同的數(shù)據(jù)庫(kù)級(jí)別上進(jìn)行，主要可供參考的是100Gb，300Gb，1000Gb和3000Gb 4個(gè)級(jí)別上的測(cè)試結(jié)果。