數(shù)據(jù)倉庫架構(gòu)之?dāng)?shù)據(jù)架構(gòu)規(guī)劃與設(shè)計

申請免費試用、咨詢電話：400-8352-114

如果說整體架構(gòu)規(guī)劃是比較遙遠(yuǎn)和飄渺的事，那么數(shù)據(jù)倉庫架構(gòu)的中心部分----數(shù)據(jù)架構(gòu)，將為我們打開把遠(yuǎn)期規(guī)劃和現(xiàn)實項目的實施緊緊地聯(lián)系在一起，我們可以從現(xiàn)實出發(fā)，找到方向的突破口。BTW，今天在公司洋洋灑灑寫了10多頁關(guān)于數(shù)據(jù)架構(gòu)的文檔，為近期項目做技術(shù)準(zhǔn)備，等架構(gòu)定了后，我就開始深入熟悉公司具體業(yè)務(wù)和現(xiàn)有模型了，現(xiàn)在只是有一定了解而已，但細(xì)節(jié)架構(gòu)是根據(jù)實際情況去定制的。

現(xiàn)在簡單說下思路。這些并不是理論，更不是論文，而是經(jīng)驗的描述，不知道唯業(yè)務(wù)流程是論者看到這些，是否認(rèn)為技術(shù)架構(gòu)對業(yè)務(wù)分析的長期有效的支持，是可實現(xiàn)的和很有必要的呢？

一. 數(shù)據(jù)流架構(gòu)，主要是設(shè)計數(shù)據(jù)流需要多少層次，每個層次的功能必須有獨特的定義。ODS是否只有為數(shù)據(jù)倉庫做數(shù)據(jù)準(zhǔn)備的功能，EDW是否沒計劃和條件去建設(shè)范式模型，是否多個集市，多個集市需要統(tǒng)一維度建模，數(shù)據(jù)集市到底要滿足哪些BI功能，這些問題都決定了數(shù)據(jù)流架構(gòu)如何去設(shè)計。

二.數(shù)據(jù)管理架構(gòu)。

1. 考慮歷史存儲方式，根據(jù)數(shù)據(jù)使用頻率和價值，是否參考DW2.0理論進(jìn)行數(shù)據(jù)管理。

2. 存儲方式的角度，從粒度上講，維度模型的數(shù)據(jù)倉庫到底需要多大的粒度，特別是時間方面的維度，數(shù)據(jù)集市到底需要多大的粒度。而從應(yīng)用數(shù)據(jù)方面講，是否需要在數(shù)據(jù)集市中將維度信息加在事實表中，需要加多少進(jìn)去，甚至形成大寬表，方便報表或者查詢以及數(shù)據(jù)挖掘。

三. 業(yè)務(wù)數(shù)據(jù)架構(gòu)。

目前包括國際大廠商的行業(yè)模型，其實都是從平面角度看業(yè)務(wù)，雖然業(yè)務(wù)上包括很全，但從技術(shù)上講，并不是更合理的模型架構(gòu)，或者沒有架構(gòu)，只是平面的模型，是否我們就直接拿來用，不需要架構(gòu)了？以下做簡要說明：

1. 業(yè)務(wù)數(shù)據(jù)流。（1）針對表的考慮。需要考慮不同業(yè)務(wù)定義中，表當(dāng)中到底存儲多少信息，是多種定義放一起，還是不同定義存儲在不同的表。高時間粒度事實表是在數(shù)據(jù)集市直接通過低粒度事實表匯總，還是從維度建設(shè)時就分出來ETL?？紤]擴(kuò)展原因，最好不要多種定義的數(shù)據(jù)放一起，這樣擴(kuò)展性不強(qiáng)，也不容易維護(hù)。

（2）針對字段的考慮。維表主要考慮到維數(shù)據(jù)的增強(qiáng)性描述，事實表主要是度量的描述以及退化維的生成，不過衍生度量和退化維一般在統(tǒng)一維度層或者數(shù)據(jù)集市中完成，根據(jù)是否是企業(yè)級定位而定。

2. 業(yè)務(wù)數(shù)據(jù)管理架構(gòu)。一般國際大廠商的行業(yè)模型，會有很多衍生表來描述不同業(yè)務(wù)定義的維信息，不過這種擴(kuò)展性僅僅還是停留在平面層次。如果要適應(yīng)更大更復(fù)雜的業(yè)務(wù)變化和組織機(jī)構(gòu)變化需求，我們的管理架構(gòu)需要細(xì)到管理相應(yīng)的業(yè)務(wù)元數(shù)據(jù)。根據(jù)模型技術(shù)的發(fā)展，針對主題模型，我們可以設(shè)計出輔助模型來描述元數(shù)據(jù)，達(dá)到最大的業(yè)務(wù)變化/增加、組織結(jié)構(gòu)變化/增加的支持。在實際項目中，根據(jù)業(yè)務(wù)調(diào)研，設(shè)計出相應(yīng)的參考模型組，并維護(hù)參考表數(shù)據(jù)（一般100條數(shù)據(jù)以內(nèi)），然后在統(tǒng)一維度建模中，由參考表和主體業(yè)務(wù)模型關(guān)聯(lián)而成統(tǒng)一可信高可擴(kuò)展性的維表。

四. 數(shù)據(jù)安全架構(gòu)。

一般安全管理分為操作系統(tǒng)級、數(shù)據(jù)庫級、Schema級、表/視圖級、數(shù)據(jù)級（行數(shù)據(jù)），以及BI界面控制級別、CUBE控制等多個層次。這里主要說的是數(shù)據(jù)行級。在維度數(shù)據(jù)倉庫，達(dá)到所謂數(shù)據(jù)行級控制，可以通過類似BI界面那樣的多個組合權(quán)限組，然后結(jié)合事實表進(jìn)行權(quán)限控制。

五.數(shù)據(jù)質(zhì)量架構(gòu)。

數(shù)據(jù)質(zhì)量控制本身有多個因素組成，包括業(yè)務(wù)調(diào)研、ETL、測試嚴(yán)密性等，這里主要從數(shù)據(jù)建模的角度考慮。一般可以設(shè)計相應(yīng)的控制表來一定程度控制，比如維度數(shù)據(jù)有效性。