對(duì)數(shù)據(jù)倉(cāng)庫(kù)探討

申請(qǐng)免費(fèi)試用、咨詢電話：400-8352-114

業(yè)務(wù)知識(shí)遠(yuǎn)遠(yuǎn)重于技術(shù)-當(dāng)今數(shù)據(jù)倉(cāng)庫(kù)真正實(shí)施的是一些國(guó)家機(jī)構(gòu)或些國(guó)有企業(yè)。真正估算數(shù)據(jù)倉(cāng)庫(kù)的效益是一件十分困難的事情，因此，對(duì)于多數(shù)私有企業(yè)來(lái)說(shuō)， 不明確的軟件投資往往存在很大的風(fēng)險(xiǎn)，這就決定了數(shù)據(jù)倉(cāng)庫(kù)的運(yùn)用對(duì)于目前來(lái)說(shuō)它的范圍對(duì)于私人企業(yè)這一塊是來(lái)是比較狹隘的。

而對(duì)于是否該上數(shù)據(jù)倉(cāng)庫(kù)時(shí)，按數(shù)據(jù)質(zhì)量這一層面來(lái)說(shuō)，往往是一些銷售系統(tǒng)，一些產(chǎn)品軟件的數(shù)據(jù)質(zhì)量比較高，而對(duì)于一些大型定制系統(tǒng)，系統(tǒng)本身可能就不是一 個(gè)完整可靠的系統(tǒng)，可能存在著很多潛在的錯(cuò)誤，因此，在此基礎(chǔ)上要做好數(shù)據(jù)倉(cāng)庫(kù)，是一個(gè)十分艱巨的任務(wù)，而在現(xiàn)實(shí)環(huán)境中，往往上數(shù)據(jù)倉(cāng)庫(kù)的就是建立在此基 礎(chǔ)上的。存在既是道理。那么我們來(lái)分析數(shù)據(jù)倉(cāng)庫(kù)中存在的各種困難及如何把不成功因素降為最小。

(本人按自己所在項(xiàng)目及一些心得體會(huì)在此進(jìn)行探討，在此談?wù)摰臄?shù)據(jù)倉(cāng)庫(kù)主要針對(duì)本人經(jīng)歷項(xiàng)目-省級(jí)集中稅務(wù)數(shù)據(jù)倉(cāng)庫(kù))

首先：是否該上數(shù)據(jù)倉(cāng)庫(kù)

對(duì)于這個(gè)問(wèn)題，作為公司方來(lái)說(shuō)，這個(gè)問(wèn)題幾乎就等于問(wèn)賣東西的人我該不該買這東西。而對(duì)于甲方來(lái)說(shuō)，他們上不上數(shù)據(jù)倉(cāng)庫(kù)無(wú)非是想在工作中多得到些有用的信 息(不排除其中有很多是面子工程)，多些原系統(tǒng)中無(wú)法滿足的查詢、分析及一些能為決策提供的多方面宏觀數(shù)據(jù)。因此，在項(xiàng)目競(jìng)標(biāo)中，公司必然會(huì)說(shuō)出客戶需求 上數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目的N個(gè)理由及好處。項(xiàng)目競(jìng)標(biāo)成功，那么售前人員的工作算是取的了成功，而他們所許下的很多承諾也不是他們所要做的，我做為一個(gè)項(xiàng)目開發(fā)及實(shí) 施人員，關(guān)注的是后者，不管怎樣，項(xiàng)目競(jìng)標(biāo)的成功才有我們要做的事。所以，上不上數(shù)據(jù)倉(cāng)庫(kù)已不是我們關(guān)注的，我們專注的是，最大努力做好它。

其次：數(shù)據(jù)需求編寫階段

客戶方經(jīng)過(guò)前期競(jìng)標(biāo)時(shí)公司方的講解及數(shù)據(jù)倉(cāng)庫(kù)的一些初步了解后，此時(shí)可能在客戶方的頭腦中會(huì)有一種，數(shù)據(jù)倉(cāng)庫(kù)就是無(wú)所不能的東西，只要自己能想到的，那么 就能實(shí)現(xiàn)它。這是一個(gè)比較危險(xiǎn)的暗號(hào)，在他們編寫需求的時(shí)候，很有可能天馬行空，閉門造車，想出很多不切實(shí)際、過(guò)細(xì)過(guò)雜的需求。需求是一項(xiàng)目成敗的關(guān)鍵因 素，主要問(wèn)題有已下幾點(diǎn)：

(1),需求該由誰(shuí)來(lái)撰寫，現(xiàn)實(shí)中多數(shù)情況下是客戶方，

個(gè)人認(rèn)為快速可行的方案是由公司方提出較核心的大部分需求，當(dāng)然提出此需求必須在了解源數(shù)據(jù)的結(jié)構(gòu)，確保需求實(shí)施中有取數(shù)的來(lái)源及取數(shù)的準(zhǔn)確性，因此此步 驟的技術(shù)含量相當(dāng)高，且對(duì)于繁雜的業(yè)務(wù)系統(tǒng)的分析也不可能是一時(shí)半伙就能解決的。公司方必須經(jīng)過(guò)調(diào)查或其它實(shí)施中經(jīng)驗(yàn)的總結(jié)，確保此部分需求為相對(duì)核心、 有實(shí)施意義及可實(shí)施的。而且此需求并非一成不變的，隨著對(duì)業(yè)務(wù)的發(fā)展及自身認(rèn)識(shí)的加深，以及各個(gè)項(xiàng)目中經(jīng)驗(yàn)及教訓(xùn)，必須對(duì)其進(jìn)行部分的取舍，以適應(yīng)市場(chǎng)及 現(xiàn)狀的要求。而為兼顧地方的特有的需求，由業(yè)務(wù)方提出部分需求，然后由公司及業(yè)務(wù)方共同討論對(duì)其進(jìn)行取舍，我們必須認(rèn)識(shí)到，并非所有需求都能在未實(shí)施之前 確定它是否可實(shí)施，很多需求由于各種原因，只有在實(shí)施過(guò)程中才發(fā)現(xiàn)是不可行的、有問(wèn)題的需求。

這種由公司方提出絕大部分客戶方西方結(jié)合自身特點(diǎn)提出小部分需求的方法，可以最大可能地保證需求的快速構(gòu)建及實(shí)施過(guò)程的相對(duì)暢通(公司方提出的需求一般是 以公司實(shí)施為前提，一般為可行的方案，當(dāng)然源業(yè)務(wù)系統(tǒng)與數(shù)據(jù)倉(cāng)庫(kù)都為本公司開發(fā)更容易實(shí)現(xiàn))。當(dāng)需求編寫完成后，也并不意味著需求的定型，在以后開發(fā)的過(guò) 程中，可能是個(gè)不斷修改不斷完善的過(guò)程。

再次，項(xiàng)目開發(fā)階段

"由客戶方提出源系統(tǒng)數(shù)據(jù)詳細(xì)清單，通過(guò)與客戶方的溝通定義目標(biāo)區(qū)數(shù)據(jù)模型，定制出源到目標(biāo)的MAPPING清單, 然后ETL人員根據(jù)此清單進(jìn)行數(shù)據(jù)抽取，報(bào)表開發(fā)人員通過(guò)數(shù)據(jù)模型進(jìn)行語(yǔ)義層設(shè)計(jì)、報(bào)表展現(xiàn)" ，仿佛一個(gè)開發(fā)過(guò)程十分的清晰簡(jiǎn)單，但現(xiàn)在中，困難可謂是無(wú)所不在，源系統(tǒng)數(shù)據(jù)理解、模型的定義、ETL的程序設(shè)計(jì)等各方面都可能出現(xiàn)潛在的、必然的、意 想不到的困難。

以下簡(jiǎn)單列出些常見(jiàn)的問(wèn)題

1)，對(duì)源系統(tǒng)的數(shù)據(jù)理解，在項(xiàng)目中，可能存在客戶方很難給出源系統(tǒng)的詳細(xì)清單，特別是對(duì)于業(yè)務(wù)繁多的大系統(tǒng)而言，可能源系統(tǒng)表有幾百個(gè)之多，而且關(guān)系復(fù)雜，這將給mapping制定帶來(lái)巨大的困難。

2)，數(shù)據(jù)抽取困難

一般情況下，數(shù)據(jù)的抽取都有時(shí)間的限制，當(dāng)數(shù)據(jù)量過(guò)大且模塊加工繁雜時(shí)，必然存在很大的難度。除此之外，以下因素也是經(jīng)常存在。

(1),表記錄變化無(wú)相應(yīng)的系統(tǒng)時(shí)間戳，此問(wèn)題在系統(tǒng)中一般都存在。(Oracle解決辦法，物化視圖、CDC等)
(2),數(shù)據(jù)來(lái)源復(fù)雜，存在多個(gè)業(yè)務(wù)系統(tǒng)及外部數(shù)據(jù)的集中。
(3),抽取工具不成熟及自己使用的不熟練(主觀及客觀因素)。
(4)，業(yè)務(wù)系統(tǒng)的不斷變更增大數(shù)據(jù)倉(cāng)庫(kù)抽取的難度，etl抽取程序可能要有N個(gè)版本。
3)， 怎樣說(shuō)服客戶數(shù)據(jù)倉(cāng)庫(kù)的正確性--對(duì)于一大型數(shù)據(jù)倉(cāng)庫(kù)的實(shí)施運(yùn)行的檢查，如果證明數(shù)據(jù)倉(cāng)庫(kù)的準(zhǔn)確性在某些模塊是個(gè)十分困難的事情，主要原因有以下幾點(diǎn)：

(1)，在其它業(yè)務(wù)系統(tǒng)中沒(méi)有相應(yīng)的指標(biāo)進(jìn)行對(duì)比。
(2)，原始數(shù)據(jù)中垃圾數(shù)據(jù)的存在且難于判定。
數(shù)據(jù)倉(cāng)庫(kù)中存在最多的是各維度對(duì)比及各方面分析，對(duì)于一些數(shù)據(jù)存在維度錯(cuò)誤及關(guān)系錯(cuò)誤而難于確定修復(fù)策略，當(dāng)然此時(shí)數(shù)據(jù)倉(cāng)庫(kù)的建立也能發(fā)現(xiàn)源業(yè)務(wù)系統(tǒng)的不足及促進(jìn)源系統(tǒng)的不斷完善。
(3)，業(yè)務(wù)規(guī)則與原始數(shù)據(jù)業(yè)務(wù)系統(tǒng)難于對(duì)應(yīng)。
例如 A業(yè)務(wù)及B業(yè)務(wù)是有聯(lián)系的，但可能在原業(yè)務(wù)系統(tǒng)中沒(méi)有此類需求，因此AB找不到對(duì)應(yīng)的關(guān)系，而在數(shù)據(jù)倉(cāng)庫(kù)中AB的聯(lián)系自然就無(wú)法體現(xiàn)了。，

特別對(duì)于稅務(wù)數(shù)據(jù)倉(cāng)庫(kù)來(lái)說(shuō)，主題多，業(yè)務(wù)廣，涉及面廣，因此對(duì)于成千上萬(wàn)的業(yè)務(wù)關(guān)系中，怎樣抽取有效的、核心的、有決策意義、多數(shù)人所關(guān)心的需求成為一個(gè)很大的難點(diǎn)。

對(duì)于數(shù)據(jù)抽取，給幾點(diǎn)建議

一，必須先構(gòu)建數(shù)據(jù)平臺(tái)，對(duì)于一個(gè)長(zhǎng)期的數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目，必須構(gòu)建完整的數(shù)據(jù)平臺(tái)，這個(gè)中轉(zhuǎn)在前期可能要花費(fèi)些時(shí)間，但對(duì)于后期是很有必要的，我想以數(shù)據(jù)為驅(qū)動(dòng)相對(duì)業(yè)務(wù)驅(qū)動(dòng)來(lái)說(shuō)，實(shí)踐更容易快捷。

二，在項(xiàng)目未開始階段，公司必須有足夠的技術(shù)積累，最大程度地不讓技術(shù)成為一個(gè)開發(fā)及實(shí)施的拌腳石，選擇自己熟練的技術(shù)出發(fā)，若客戶的硬性規(guī)定，那在開發(fā)的前期盡最大努力掌握它吧。

稅務(wù)數(shù)據(jù)倉(cāng)庫(kù)實(shí)施簡(jiǎn)易步驟：最后，項(xiàng)目的運(yùn)行實(shí)踐

數(shù)據(jù)倉(cāng)庫(kù)的開發(fā)不同于一般的業(yè)務(wù)系統(tǒng)開發(fā)，特別是測(cè)試驗(yàn)收，開發(fā)環(huán)境和生產(chǎn)環(huán)境對(duì)于數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目來(lái)說(shuō)可能存大很大的區(qū)別，數(shù)據(jù)倉(cāng)庫(kù)的運(yùn)行是一個(gè)不斷向前的 過(guò)程，數(shù)據(jù)倉(cāng)庫(kù)的初始化及增量是密不可分的，但其中的測(cè)試遠(yuǎn)比任何業(yè)務(wù)系統(tǒng)難，原因有，抽取時(shí)間一般過(guò)長(zhǎng)、網(wǎng)絡(luò)因素、數(shù)據(jù)抽取失敗的預(yù)防及處理，容錯(cuò)性等 這些都必須考慮，而且，數(shù)據(jù)倉(cāng)庫(kù)程序的發(fā)布也可能是多方面的，(可能有存儲(chǔ)過(guò)程，etl工具mapping程序的遷移)，應(yīng)盡可能的把程序發(fā)布作為一統(tǒng)一 過(guò)程(過(guò)多的步驟出差的概率自然會(huì)高)，程序版本的控制等。

看到這里，我在此十分感謝，浪費(fèi)了您很多寶貴時(shí)間，上面我可能提出了很多數(shù)據(jù)倉(cāng)庫(kù)中出現(xiàn)的問(wèn)題，而沒(méi)有討論它的解決之道，我想，任何問(wèn)題解決方法不可能是 絕對(duì)的，在此也希望大家共同探討，數(shù)據(jù)倉(cāng)庫(kù)難在哪里，主要是數(shù)據(jù)倉(cāng)庫(kù)是要收拾別人的攤子。攤子實(shí)在是太爛的話，我想，再牛的人也不可能上出好的數(shù)據(jù)倉(cāng)庫(kù)項(xiàng) 目。

BTW：數(shù)據(jù)倉(cāng)庫(kù)之路多的是教訓(xùn)，吾將上下而求索…(techtarget)