數(shù)據(jù)倉(cāng)庫(kù)建設(shè)的成功之道

申請(qǐng)免費(fèi)試用、咨詢電話：400-8352-114

隨著數(shù)據(jù)的不斷積累和增長(zhǎng)，各個(gè)行業(yè)都在思考一個(gè)相同的問題，怎樣把數(shù)據(jù)從成本轉(zhuǎn)化為價(jià)值？怎樣從龐大的數(shù)據(jù)集中分析出有用的信息來(lái)用于企業(yè)的市場(chǎng)經(jīng)營(yíng)和企業(yè)決策？

商業(yè)智能(Business Intelligence簡(jiǎn)稱BI)早在1996年便由Gartner提出，其本質(zhì)便是通過(guò)數(shù)據(jù)倉(cāng)庫(kù)、聯(lián)機(jī)分析處理(OLAP)、數(shù)據(jù)挖掘等技術(shù)來(lái)完成從數(shù)據(jù)到信息的提煉，最終獲得對(duì)企業(yè)經(jīng)營(yíng)和決策有用的知識(shí)。毫無(wú)疑問，只有通過(guò)商業(yè)智能的相關(guān)系統(tǒng)，才能真正把數(shù)據(jù)從企業(yè)的成本轉(zhuǎn)化為價(jià)值。

雖然國(guó)內(nèi)各行業(yè)對(duì)于數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)均有熱切的期望，但是真正實(shí)施的企業(yè)卻不多，中國(guó)移動(dòng)在2003年率先在全國(guó)范圍內(nèi)啟動(dòng)了中國(guó)移動(dòng)二級(jí)經(jīng)營(yíng)分析系統(tǒng)的建設(shè)，應(yīng)該是開創(chuàng)了國(guó)內(nèi)行業(yè)大規(guī)模進(jìn)行數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)建設(shè)的先河。筆者有幸參加了其中某省經(jīng)營(yíng)分析系統(tǒng)的建設(shè)，一些心得供大家分享和借鑒。

影響數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)建設(shè)成功的關(guān)鍵因素

影響一個(gè)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)成功與否的關(guān)鍵因素通常有如下幾點(diǎn)：數(shù)據(jù)質(zhì)量；市場(chǎng)業(yè)務(wù)人員的參與程度；集成商對(duì)于業(yè)務(wù)的了解程度以及合適的技術(shù)框架的建立。

數(shù)據(jù)質(zhì)量

相對(duì)于國(guó)外企業(yè)而言，國(guó)內(nèi)企業(yè)的信息化建設(shè)周期較短，而計(jì)算機(jī)技術(shù)的發(fā)展和市場(chǎng)發(fā)展均很迅速，因此很多企業(yè)從信息化建設(shè)伊始，便忙于對(duì)生產(chǎn)管理系統(tǒng)的不斷整合或升級(jí)，但是卻忽略了對(duì)于數(shù)據(jù)本身的整理。對(duì)于電信運(yùn)營(yíng)商而言，客戶的背景資料例如客戶的性別、年齡、家庭關(guān)系等對(duì)于客戶相關(guān)分析如離網(wǎng)、市場(chǎng)營(yíng)銷等都非常重要，但是可能在大部分電信運(yùn)營(yíng)商的數(shù)據(jù)庫(kù)里，性別不祥的用戶比性別為男或女的用戶都多。國(guó)外的電信運(yùn)營(yíng)商都很注重對(duì)于客戶家庭成員的相關(guān)分析，而國(guó)內(nèi)電信運(yùn)營(yíng)商是不可能進(jìn)行這些類似的分析，因?yàn)楦静痪邆溥@些準(zhǔn)確的信息。這些不準(zhǔn)確的數(shù)據(jù)會(huì)導(dǎo)致數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)最終分析得到錯(cuò)誤的結(jié)論，不可能對(duì)企業(yè)經(jīng)營(yíng)提供幫助，因此數(shù)據(jù)質(zhì)量的好壞直接影響了數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)建設(shè)的成敗。

業(yè)務(wù)人員的參與

數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)實(shí)際上是完全為業(yè)務(wù)人員服務(wù)的系統(tǒng)，數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)建設(shè)的一個(gè)原則便是：在企業(yè)的各個(gè)部門中誰(shuí)需要了解的數(shù)據(jù)最多，便為誰(shuí)服務(wù)。因此，數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)與傳統(tǒng)的企業(yè)生產(chǎn)管理或者運(yùn)營(yíng)系統(tǒng)有很大的區(qū)別，數(shù)據(jù)倉(cāng)庫(kù)的用戶通常會(huì)包括企業(yè)的決策人員，企業(yè)的市場(chǎng)分析人員，企業(yè)的一線業(yè)務(wù)人員。業(yè)務(wù)人員作為系統(tǒng)的最終使用者應(yīng)該在系統(tǒng)建設(shè)之初便全程參與系統(tǒng)的建設(shè)，包括對(duì)于源數(shù)據(jù)的選取等。而很多企業(yè)仍然將數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)當(dāng)成一個(gè)傳統(tǒng)的信息系統(tǒng)來(lái)建設(shè)，往往將其完全交給企業(yè)的IT部門來(lái)負(fù)責(zé)，以交鑰匙的方式建設(shè)完成后交給業(yè)務(wù)人員使用，業(yè)務(wù)人員缺乏對(duì)系統(tǒng)建設(shè)的參與，最終導(dǎo)致建設(shè)和使用的脫節(jié)。按照數(shù)據(jù)倉(cāng)庫(kù)建設(shè)理論，數(shù)據(jù)倉(cāng)庫(kù)是一個(gè)過(guò)程而不是一個(gè)系統(tǒng)，其本質(zhì)便是隨著業(yè)務(wù)的不斷發(fā)展，數(shù)據(jù)的不斷積累而不斷的完善和發(fā)展新的分析功能，因此對(duì)于數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的建設(shè)而言，一個(gè)好的方法便是開發(fā)到一定程度后，便開放給前端業(yè)務(wù)人員使用，隨著業(yè)務(wù)人員的使用和反饋，慢慢完善系統(tǒng)的建設(shè)，最終滿足業(yè)務(wù)人員的業(yè)務(wù)需求。形成業(yè)務(wù)、數(shù)據(jù)、系統(tǒng)和前臺(tái)使用人員的良性互動(dòng)。

集成商對(duì)于業(yè)務(wù)的了解程度

數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的建設(shè)對(duì)于傳統(tǒng)的IT集成商和軟件開發(fā)商提出了更高的要求。在傳統(tǒng)的生產(chǎn)管理系統(tǒng)中，集成商或開發(fā)商只需要了解系統(tǒng)要實(shí)現(xiàn)的相關(guān)業(yè)務(wù)流程，在軟件中實(shí)現(xiàn)這些業(yè)務(wù)流程和相關(guān)的業(yè)務(wù)操作。但是數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)要求集成商對(duì)于客戶的業(yè)務(wù)和經(jīng)營(yíng)有更高的了解。一個(gè)優(yōu)秀的集成商在整個(gè)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的建設(shè)期間需要扮演多個(gè)角色，在系統(tǒng)建設(shè)的前期，集成商負(fù)責(zé)搭建整個(gè)技術(shù)平臺(tái)，在系統(tǒng)建設(shè)的中后期，客戶往往會(huì)要求集成商利用數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)參與到客戶的經(jīng)營(yíng)分析中去，利用相關(guān)技術(shù)找出市場(chǎng)發(fā)展的規(guī)律或者瓶頸。在這個(gè)過(guò)程當(dāng)中，集成商實(shí)際上便需要完成從集成、開發(fā)到咨詢的角色轉(zhuǎn)變。因此，每一個(gè)致力于數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)建設(shè)的集成商都應(yīng)該培養(yǎng)一支對(duì)市場(chǎng)和技術(shù)都相當(dāng)了解的團(tuán)隊(duì)。

合適的技術(shù)框架的選擇

很多公司在準(zhǔn)備建設(shè)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)時(shí)，都把精力放在工具的選擇方面例如ETL工具、數(shù)據(jù)庫(kù)工具、OLAP工具等。其實(shí)對(duì)于一個(gè)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)而言，最重要的是選擇一個(gè)合適的技術(shù)框架，包括合適的邏輯數(shù)據(jù)模型和物理數(shù)據(jù)模型，合適的數(shù)據(jù)抽取策略，到底是先轉(zhuǎn)換后加載，邊轉(zhuǎn)換、邊加載還是先加載后轉(zhuǎn)換？合適的數(shù)據(jù)展現(xiàn)策略，ROLAP，MOLAP還是HOLAP？選擇了一個(gè)合適的技術(shù)框架，從技術(shù)層面而言，數(shù)據(jù)倉(cāng)庫(kù)便已成功了大半。

保障數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)建設(shè)成功

要建設(shè)一個(gè)成功的數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)需要從如下幾個(gè)方面努力：

數(shù)據(jù)

其實(shí)數(shù)據(jù)的問題不僅僅是質(zhì)量問題。但是質(zhì)量問題永遠(yuǎn)是其中最重要的一個(gè)。企業(yè)的數(shù)據(jù)質(zhì)量問題一直都存在，但是數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的建設(shè)引發(fā)了人們對(duì)于其更清楚地認(rèn)識(shí)，很多沒有建設(shè)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的企業(yè)同樣也存在數(shù)據(jù)質(zhì)量問題，只是可能還沒有意識(shí)到。如果一個(gè)企業(yè)可以在數(shù)據(jù)倉(cāng)庫(kù)建設(shè)之前便對(duì)數(shù)據(jù)質(zhì)量問題加以重視，并采取適當(dāng)行動(dòng)，無(wú)疑便有了一個(gè)好的開始。

數(shù)據(jù)的另一個(gè)問題是數(shù)據(jù)過(guò)載的問題，現(xiàn)在來(lái)談數(shù)據(jù)過(guò)載似乎有點(diǎn)早，但其實(shí)對(duì)于電信、銀行、保險(xiǎn)等行業(yè)來(lái)講，對(duì)這一點(diǎn)應(yīng)該有足夠的重視。這些行業(yè)本身的業(yè)務(wù)系統(tǒng)便是海量數(shù)據(jù)系統(tǒng)，而數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)通常都要存儲(chǔ)比業(yè)務(wù)系統(tǒng)多得多的歷史數(shù)據(jù)，通常會(huì)是12個(gè)月的歷史數(shù)據(jù)，而且，數(shù)據(jù)在進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)后，為了提高展現(xiàn)和分析的效率，會(huì)生成部分冗余和匯總的數(shù)據(jù)，30%的膨脹率對(duì)于數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)而言很平常。所以，永遠(yuǎn)需要把你需要用來(lái)分析的數(shù)據(jù)加載到數(shù)據(jù)倉(cāng)庫(kù)當(dāng)中，否則數(shù)據(jù)倉(cāng)庫(kù)或許會(huì)變?yōu)槔鴤}(cāng)庫(kù)。

業(yè)務(wù)問題選取合適，商務(wù)目標(biāo)明確

企業(yè)在實(shí)施數(shù)據(jù)倉(cāng)庫(kù)建設(shè)之前，可以對(duì)數(shù)據(jù)倉(cāng)庫(kù)的長(zhǎng)期建設(shè)提出一個(gè)遠(yuǎn)景規(guī)劃，但是一旦真正進(jìn)行數(shù)據(jù)倉(cāng)庫(kù)建設(shè)，就一定要建立明確的商務(wù)目標(biāo)，明確數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)所需要回答的業(yè)務(wù)問題。有了明確的業(yè)務(wù)問題至少可以讓建設(shè)人員對(duì)與數(shù)據(jù)倉(cāng)庫(kù)所需要達(dá)到的目標(biāo)有一個(gè)清楚地認(rèn)識(shí)。

不要依靠工具

事實(shí)上，ETL、OLAP這些工具發(fā)展的年頭其實(shí)相對(duì)來(lái)講都不算長(zhǎng)，所以，要想找一個(gè)可以完全滿意的工具其實(shí)很不容易，但這些都不是關(guān)鍵。最起碼，一個(gè)成功的數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)，應(yīng)該是在明確了各個(gè)階段的技術(shù)框架后再來(lái)選擇合適的工具。所以不要依靠工具，而應(yīng)該依靠合適的技術(shù)框架。

系統(tǒng)建設(shè)納入企業(yè)戰(zhàn)略規(guī)劃中

這個(gè)說(shuō)法看起來(lái)很大。但其實(shí)很有必要。通過(guò)一個(gè)成功的數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)能夠發(fā)現(xiàn)企業(yè)中隱藏的成本和潛在增加收入的機(jī)會(huì)，讓數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)成為企業(yè)運(yùn)作的一部分，才能體現(xiàn)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)本身的價(jià)值。因此當(dāng)經(jīng)營(yíng)者們?cè)诳紤]企業(yè)的戰(zhàn)略目標(biāo)時(shí)，同時(shí)就應(yīng)該考慮，怎樣利用數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)來(lái)進(jìn)行日常的經(jīng)營(yíng)分析，怎樣利用數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)來(lái)追蹤影響戰(zhàn)略目標(biāo)的關(guān)鍵業(yè)績(jī)指標(biāo)？怎樣利用數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)來(lái)輔助企業(yè)決策？只有將數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)變?yōu)槿粘Q策和經(jīng)營(yíng)的一部分，他才是一個(gè)真正成功的商業(yè)智能系統(tǒng)。