多維數(shù)據(jù)模型與OLAP的實(shí)現(xiàn)

申請免費(fèi)試用、咨詢電話：400-8352-114

近年來，隨著網(wǎng)絡(luò)技術(shù)和數(shù)理分析在銀行業(yè)中的廣泛應(yīng)用，西方商業(yè)銀行開始廣泛采用人口地理統(tǒng)計(jì)理論，運(yùn)用數(shù)據(jù)挖掘及商業(yè)智能等技術(shù)，處理跨時(shí)間、跨空間、跨部門、跨產(chǎn)品的銀行數(shù)據(jù)集成分析問題，逐步實(shí)現(xiàn)了金融產(chǎn)品和金融服務(wù)的交叉銷售，以保留住優(yōu)質(zhì)客戶。目前，國內(nèi)多家銀行也不同程度地開展了商業(yè)智能（BI，Business Intelligence）系統(tǒng)建設(shè)，從信息管理角度看，商業(yè)智能是決策支持技術(shù)在商業(yè)銀行應(yīng)用的進(jìn)一步發(fā)展和完善，OLAP（On-Line Analytical Processing，聯(lián)機(jī)分析處理）技術(shù)是BI的關(guān)鍵技術(shù)之一。自1970年第一個(gè)OLAP的雛形工具Express發(fā)布，到1993年關(guān)系數(shù)據(jù)庫之父、數(shù)學(xué)家與計(jì)算機(jī)科學(xué)家愛德華·庫德（E.F.Codd）系統(tǒng)地提出OLAP概念和OLAP的12條準(zhǔn)則，OLAP技術(shù)和產(chǎn)品有了很大的發(fā)展，其內(nèi)涵和外延也發(fā)生了一定的變化。但其本質(zhì)特征仍然是：以多維數(shù)據(jù)模型為基礎(chǔ)組織和存儲(chǔ)數(shù)據(jù)，滿足對用戶請求的快速響應(yīng)和交互式操作。

OLAP技術(shù)在國內(nèi)興起和發(fā)展的過程中，人們對某些基本概念還有不同的理解。比如，OLAP與多維數(shù)據(jù)模型的關(guān)系，多維數(shù)據(jù)模型與多維數(shù)據(jù)庫（MDD，Multi Dimensional Database）的關(guān)系，MOLAP（Multidimensional OLAP，關(guān)系聯(lián)機(jī)分析處理）和HOLAP（Hybrid OLAP，混合聯(lián)機(jī)分析處理）間的差異，多維數(shù)據(jù)庫與多維聯(lián)機(jī)分析處理是不是完全一致等問題，還有待于進(jìn)一步澄清。

一、多維數(shù)據(jù)模型及相關(guān)概念

數(shù)據(jù)模型一般有兩個(gè)層次：概念層（邏輯層）和物理層。邏輯數(shù)據(jù)模型是從概念角度抽象出現(xiàn)實(shí)世界的內(nèi)在規(guī)律，如業(yè)務(wù)流程、數(shù)據(jù)架構(gòu)等；物理數(shù)據(jù)模型則側(cè)重于特定環(huán)境下的具體實(shí)現(xiàn)，如效率、安全性等。

多維數(shù)據(jù)模型是一個(gè)邏輯概念，該模型主要解決如何對大量數(shù)據(jù)進(jìn)行快速查詢和多角度展示，以便得出有利于管理決策的信息和知識(shí)。多維數(shù)據(jù)模型的應(yīng)用領(lǐng)域主要有數(shù)據(jù)倉庫、OLAP和數(shù)據(jù)挖掘3個(gè)方面，其中，多維結(jié)構(gòu)是OLAP的核心。

多維數(shù)據(jù)模型通過引入維、維分層和度量等概念，將信息在概念上視為一個(gè)立方體。圖1表示了一個(gè)數(shù)據(jù)立方體。

圖1 一個(gè)數(shù)據(jù)立方體

1. 立方體：用三維或更多的維數(shù)描述一個(gè)對象，每個(gè)維彼此垂直。數(shù)據(jù)的度量值發(fā)生在維的交叉點(diǎn)上，數(shù)據(jù)空間的各個(gè)部分都有相同的維屬性。

2. 維：是人們觀察數(shù)據(jù)的特定角度，是考慮問題時(shí)的一類屬性，屬性的集合構(gòu)成一個(gè)維（如時(shí)間維、機(jī)構(gòu)維等）。

3. 維分層：同一維度還可以存在細(xì)節(jié)程度不同的各個(gè)描述方面（如時(shí)間維可包括年、季度、月份、旬和日期等）。

4. 維屬性：維的一個(gè)取值，是數(shù)據(jù)項(xiàng)在某維中位置的描述（例如“某年某月某日”是在時(shí)間維上位置的描述）。

5. 度量：立方體中的單元格，用以存放數(shù)據(jù)。

OLAP的基本多維分析操作有鉆取（Roll up，Drill down）、切片（Slice）、切塊（Dice）及旋轉(zhuǎn)（Pivot）等。

鉆取包含向下鉆取和向上鉆取（上卷）操作，鉆取的深度與維所劃分的層次相對應(yīng)。上卷操作通過維規(guī)約，在數(shù)據(jù)立方體上進(jìn)行聚集；下鉆操作是上卷操作的逆操作，由不太詳細(xì)的數(shù)據(jù)到更詳細(xì)的數(shù)據(jù)。

切片和切塊是在一部分維上選定值后，度量數(shù)據(jù)在剩余維上的分布。在多維數(shù)據(jù)結(jié)構(gòu)中，按照二維、二維進(jìn)行切塊可得到所需數(shù)據(jù)，如在“機(jī)構(gòu)、產(chǎn)品、時(shí)間”三維立方體中進(jìn)行切塊和切片，可得到各城市、各產(chǎn)品的銷售情況。

旋轉(zhuǎn)（轉(zhuǎn)軸）是變換維的方向，即在表格中重新安排維的放置（如行列互換），通過旋轉(zhuǎn)得到不同視角的數(shù)據(jù)。

二、多維數(shù)據(jù)模型的物理實(shí)現(xiàn)

OLAP多維數(shù)據(jù)模型的實(shí)現(xiàn)有多種途徑，其中主要有采用數(shù)組的多維數(shù)據(jù)庫、關(guān)系型數(shù)據(jù)庫以及兩者相結(jié)合的方式，人們通常稱之為MOLAP、ROLAP和HOLAP。但MOLAP的提法容易引起誤解，畢竟根據(jù)OLAP的多維概念，ROLAP也是一種多維數(shù)據(jù)的組織方式。

1. 多維聯(lián)機(jī)分析處理（多維數(shù)據(jù)庫管理系統(tǒng)）

多維聯(lián)機(jī)分析處理嚴(yán)格遵照庫德的定義，自行建立多維數(shù)據(jù)庫來存放聯(lián)機(jī)分析系統(tǒng)的數(shù)據(jù)，它以多維數(shù)據(jù)組織方式為核心，也就是說，多維聯(lián)機(jī)分析處理使用多維數(shù)組存儲(chǔ)數(shù)據(jù)。

當(dāng)利用多維數(shù)據(jù)庫存儲(chǔ)OLAP數(shù)據(jù)時(shí)，不需要將多維數(shù)據(jù)模型中的維度、層劃分和立方體等概念轉(zhuǎn)換成其他的物理模型，因?yàn)槎嗑S數(shù)組（矩陣）能很好地體現(xiàn)多維數(shù)據(jù)模型特點(diǎn)。

針對圖1，可以定義一個(gè)三維數(shù)組矩陣（7，6，3），體現(xiàn)立方體的維、屬性和維度量。其中數(shù)組中維的個(gè)數(shù)對應(yīng)立方體的維度數(shù)，數(shù)組中每一維取值對應(yīng)立方體中每一維度的屬性個(gè)數(shù)，而數(shù)組的126個(gè)交點(diǎn)對應(yīng)立方體中的單元格，用來存放數(shù)據(jù)。

利用數(shù)組實(shí)現(xiàn)多維數(shù)據(jù)模型的優(yōu)點(diǎn)，在于對數(shù)據(jù)的快速訪問，但同時(shí)也會(huì)帶來存儲(chǔ)空間的冗余，即稀疏矩陣問題，進(jìn)而導(dǎo)致對存儲(chǔ)空間的極大需求。例如，圖2中定義的一個(gè)立方體結(jié)構(gòu)，在用數(shù)組定義時(shí)，其取值可能有104463億種情況。但實(shí)際上，并不是每一天、每個(gè)經(jīng)營機(jī)構(gòu)在不同地區(qū)和不同特約商戶都會(huì)產(chǎn)生具有不同幣種、不同卡種的交易，和關(guān)系數(shù)據(jù)庫管理系統(tǒng)相比，只有當(dāng)某一交易確實(shí)發(fā)生時(shí)，才在相應(yīng)的表中留下記錄。

圖2 認(rèn)力一體中的稀疏矩陣問題

為了解決稀疏矩陣問題，某些產(chǎn)品提出了稀疏維（sparse）和密度維（Dense)策略。由稀疏維產(chǎn)生索引塊，由密度維形成數(shù)據(jù)塊。只有當(dāng)稀疏維的組合在交易事件初次發(fā)生時(shí)才創(chuàng)建索引塊，進(jìn)而創(chuàng)建數(shù)據(jù)塊。

圖3顯示了數(shù)據(jù)塊和索引塊的關(guān)系。稀疏維和密度維的引入在一定程度上降低了立方體的存儲(chǔ)冗余問題，此外，通過數(shù)據(jù)壓縮技術(shù)可降低數(shù)據(jù)塊的存儲(chǔ)空間。

圖3 稀疏維和密度維