元數(shù)據(jù)管理：企業(yè)信息化發(fā)展的潤(rùn)滑劑

申請(qǐng)免費(fèi)試用、咨詢電話：400-8352-114

隨著企業(yè)IT信息化建設(shè)如火如荼的進(jìn)行了數(shù)十年，大多數(shù)企業(yè)逐漸擁有了ERP、CRM、SCM等系統(tǒng)。在企業(yè)的這些分散的業(yè)務(wù)系統(tǒng)里存放著大量珍貴的數(shù)據(jù)，而這些數(shù)據(jù)對(duì)于企業(yè)而言，恰似深埋在大地中的寶藏一樣，會(huì)對(duì)企業(yè)的未來發(fā)展產(chǎn)生至關(guān)重要的作用。于是乎企業(yè)挖“寶藏”的工作全面展開了,而這就是商業(yè)智能（Business Intelligence）。

可現(xiàn)實(shí)情況是這些“寶藏”零散的深埋于浩如煙海的數(shù)據(jù)之中，并非因企業(yè)有了激情和想法就能輕易獲得。由于原來企業(yè)各業(yè)務(wù)系統(tǒng)建設(shè)的出發(fā)點(diǎn)，都只考慮單系統(tǒng)自身的完整性和一致性，當(dāng)企業(yè)想從全局層次上把這些分散的系統(tǒng)有機(jī)的集成起來的時(shí)候，人們會(huì)發(fā)現(xiàn)這種工作的難度比挖礦本身還難。人們無論怎么去努力，但離“智能”的境界總是有不小的差距。在人們不斷探索解決問題的過程中，元數(shù)據(jù)的出現(xiàn)，為那些挖掘數(shù)據(jù)寶藏者們提供了有力的支撐。

元數(shù)據(jù)（Meta Data）是關(guān)于數(shù)據(jù)的數(shù)據(jù)。當(dāng)人們描述現(xiàn)實(shí)世界的現(xiàn)象時(shí)，就會(huì)產(chǎn)生抽象信息，這些抽象信息便可以看作是元數(shù)據(jù);元數(shù)據(jù)主要用來描述數(shù)據(jù)的上下文信息。通俗的來講，假若圖書館的每本書中的內(nèi)容是數(shù)據(jù)的話，那么找到每本書的索引則是元數(shù)據(jù)。

元數(shù)據(jù)之所以有其它方法無法比擬的優(yōu)勢(shì)，就在于它可以幫助人們更好的理解數(shù)據(jù)，發(fā)現(xiàn)和描述數(shù)據(jù)的來龍去脈，特別是那些即將要從OLTP系統(tǒng)上升到DW/BI體系建設(shè)的企業(yè)，元數(shù)據(jù)可以幫他們形成清晰直觀的數(shù)據(jù)流圖。

元數(shù)據(jù)的概念雖然在國(guó)內(nèi)剛剛被人們熟悉起來，但在國(guó)外他已經(jīng)歷了較長(zhǎng)的發(fā)展歷史。從上世紀(jì)60年代，人們認(rèn)識(shí)到元數(shù)據(jù)的需要，到數(shù)據(jù)字典、CASE工具的應(yīng)用，以及上世紀(jì)90年代數(shù)據(jù)倉庫體系中元數(shù)據(jù)存儲(chǔ)庫的出現(xiàn)，直到現(xiàn)階段國(guó)外企業(yè)以元數(shù)據(jù)為驅(qū)動(dòng)的IT系統(tǒng)建設(shè)的方法論流行。企業(yè)對(duì)于元數(shù)據(jù)的價(jià)值越來越有深刻的體會(huì)。

元數(shù)據(jù)按其描述對(duì)象的不同可以分三大類:技術(shù)元數(shù)據(jù)、業(yè)務(wù)元數(shù)據(jù)和管理元數(shù)據(jù)。技術(shù)元數(shù)據(jù)主要用是用來描述數(shù)據(jù)實(shí)體和數(shù)據(jù)處理過程中的技術(shù)細(xì)節(jié)和處理規(guī)則。比如我們所熟知的表結(jié)構(gòu)、ETL映射關(guān)系等，這類元數(shù)據(jù)主要是系統(tǒng)建設(shè)的技術(shù)人員使用。業(yè)務(wù)元數(shù)據(jù)主要是對(duì)IT系統(tǒng)的數(shù)據(jù)實(shí)體和數(shù)據(jù)處理的業(yè)務(wù)化描述，包括業(yè)務(wù)規(guī)則、業(yè)務(wù)術(shù)語、統(tǒng)計(jì)口徑、信息分類等。我們經(jīng)常提及的KPI定義和報(bào)表統(tǒng)計(jì)規(guī)則等就屬于此類元數(shù)據(jù)。業(yè)務(wù)元數(shù)據(jù)主要的使用者是業(yè)務(wù)人員和公司決策人員。管理類元數(shù)據(jù)主要是對(duì)項(xiàng)目管理、IT運(yùn)維、IT資源設(shè)備等相關(guān)信息的描述。這類元數(shù)據(jù)主要是企業(yè)IT部門的管理人員使用。利用此類元數(shù)據(jù)可以進(jìn)行工作分配、網(wǎng)絡(luò)資源等方面的管理。

元數(shù)據(jù)的管理方式有三種:集中式、分布式和混合式。集中式的管理方式是把原有系統(tǒng)中的元數(shù)據(jù)抽取出來，用一個(gè)獨(dú)立的系統(tǒng)來集中管理。此類管理方式優(yōu)點(diǎn)是:可高效存取信息、獨(dú)立于被集成的系統(tǒng)和具備存儲(chǔ)附加元數(shù)據(jù)的能力;缺點(diǎn)是:由于額外的執(zhí)行和維護(hù)降低了ROI和實(shí)時(shí)性。

分布式管理方式是不具備獨(dú)立的元數(shù)據(jù)存儲(chǔ)庫，系統(tǒng)實(shí)時(shí)的連接到原有的系統(tǒng)。這種方式的優(yōu)點(diǎn)是:適時(shí)性比較好和能保證元數(shù)據(jù)的質(zhì)量;缺點(diǎn)是:過度依賴于集成系統(tǒng)和不能存儲(chǔ)附加元數(shù)據(jù)。

混合式元數(shù)據(jù)管理既有獨(dú)立的元數(shù)據(jù)存儲(chǔ)庫又可實(shí)時(shí)的連接到原有的系統(tǒng)?；旌鲜焦芾矸绞娇朔思惺胶头植际焦芾淼母髯匀秉c(diǎn)，同時(shí)集成了前兩種管理方式的優(yōu)點(diǎn)，既能適時(shí)的捕獲和反映原有系統(tǒng)元數(shù)據(jù)的情況，又能讓用戶擴(kuò)展和定義附加的元數(shù)據(jù)。

元數(shù)據(jù)管理目前遵循的規(guī)范為CWM（Common Warehouse Model）。該規(guī)范是由OMG組織制定的，此規(guī)范目的是能在不同的系統(tǒng)之中可以自由、便捷的交換元數(shù)據(jù)。CWM核心的技術(shù)有三個(gè):UML（United Modeling Language）、MOF(Metadata Object Facility)和XMI（XML Metadata Interchange）。UML主要用來定義元模型;MOF用來提供操作元數(shù)據(jù)接口;XMI用來定義交換元數(shù)據(jù)的機(jī)制。具體的講CWM標(biāo)準(zhǔn)包含五個(gè)包，若干個(gè)類。

元數(shù)據(jù)管理典型的應(yīng)用有:ETL映射分析、血統(tǒng)分析/影響分析和差異分析等。這些應(yīng)用對(duì)于整個(gè)企業(yè)、技術(shù)人員、業(yè)務(wù)人員和IT管理人員都的揮著至關(guān)重要的作用。對(duì)于整個(gè)企業(yè)而言，元數(shù)據(jù)管理可以協(xié)助企業(yè)進(jìn)行數(shù)據(jù)資產(chǎn)管理;幫助解決數(shù)據(jù)孤島的現(xiàn)象，形成統(tǒng)一企業(yè)信息地圖;實(shí)現(xiàn)集中瀏覽分布在企業(yè)內(nèi)部的所有電子文檔;同時(shí)協(xié)助企業(yè)建立企業(yè)級(jí)視圖的指標(biāo)庫。

隨著企業(yè)信息化建設(shè)的不斷深入和積累，元數(shù)據(jù)管理平臺(tái)可以發(fā)揮企業(yè)知識(shí)傳承的平臺(tái)。

對(duì)于那些已經(jīng)建設(shè)有BI/DW系統(tǒng)的企業(yè)而言，企業(yè)內(nèi)部分散著數(shù)十種系統(tǒng)的情況是很普遍的現(xiàn)象。這些企業(yè)的業(yè)務(wù)人員和決策層所關(guān)注的一些統(tǒng)計(jì)報(bào)表和指標(biāo)，往往是經(jīng)過許多業(yè)務(wù)系統(tǒng)和若干數(shù)據(jù)處理環(huán)節(jié)而形成的。當(dāng)最末端的數(shù)據(jù)發(fā)生異常時(shí)，在沒有元數(shù)據(jù)管理系統(tǒng)的情況下，需要許多單位和部門（包括軟件集成商）的人共同參與，利用手工的方式去逐級(jí)查找數(shù)據(jù)出錯(cuò)的原因。這種方式不僅不利于問題的及時(shí)發(fā)現(xiàn)，而且一旦出現(xiàn)問題，很難短時(shí)間內(nèi)定位問題，甚至根本不可能定位問題的所在。

而利用元數(shù)據(jù)管理系統(tǒng)的血統(tǒng)分析等功能，可以很容易的定位問題，再配合監(jiān)控規(guī)則的設(shè)置，使問題發(fā)現(xiàn)的及時(shí)性大大提高。比如某企業(yè)日常工作中所用到的“產(chǎn)品銷售收入”這個(gè)指標(biāo)出現(xiàn)異常時(shí)，相關(guān)人員就可以利用元數(shù)據(jù)管理系統(tǒng)的“血統(tǒng)分析”很快的定位到出錯(cuò)的位置.

利用元數(shù)據(jù)管理系統(tǒng)，企業(yè)可以建立數(shù)據(jù)元（標(biāo)準(zhǔn)）的統(tǒng)一視圖。通過統(tǒng)一數(shù)據(jù)口徑、完善指標(biāo)體系、建立統(tǒng)一數(shù)據(jù)視圖，可確保數(shù)據(jù)的完整性、準(zhǔn)確性、一致性，從而有效的在各個(gè)業(yè)務(wù)系統(tǒng)內(nèi)進(jìn)行數(shù)據(jù)的轉(zhuǎn)換和整理工作。目前，許多企業(yè)經(jīng)常會(huì)面臨同一個(gè)指標(biāo)在不同部門或者不同系統(tǒng)中定義不一致的情況，以至于最終的統(tǒng)計(jì)數(shù)據(jù)出現(xiàn)偏差，為決策者提供了錯(cuò)誤的決策依據(jù)。

如某企業(yè)某月A省分公司和B省分公司都給總公司上報(bào)了“產(chǎn)品銷售量”的指標(biāo)，A省分公司的產(chǎn)品銷售量為500萬件，B省分公司的產(chǎn)品銷售量為300萬件。按常識(shí)判斷A省分公司的銷售量應(yīng)該遠(yuǎn)遠(yuǎn)小于B省分公司的銷售量，但報(bào)表的數(shù)據(jù)卻與常識(shí)相差甚遠(yuǎn)，究竟是什么原因造成這種與常識(shí)的不一致性呢？在沒有元數(shù)據(jù)管理系統(tǒng)時(shí)，我們很難發(fā)現(xiàn)其中的原因，但有了元數(shù)據(jù)管理系統(tǒng)的指標(biāo)差異分析等功能，通過元數(shù)據(jù)的差異分析很容易解釋這些現(xiàn)象。

此外，元數(shù)據(jù)管理系統(tǒng)可在統(tǒng)一數(shù)據(jù)視圖上進(jìn)行全行業(yè)內(nèi)的指標(biāo)一致性分析，可對(duì)關(guān)鍵業(yè)務(wù)的監(jiān)控規(guī)則進(jìn)行設(shè)置和管理。隨著數(shù)據(jù)量的不斷積累，數(shù)據(jù)質(zhì)量問題的日益突出，元數(shù)據(jù)管理平臺(tái)可承擔(dān)起全企業(yè)的數(shù)據(jù)質(zhì)量管理的基礎(chǔ)平臺(tái)。同時(shí)，利用需求類元數(shù)據(jù)和流程類元數(shù)據(jù)，來協(xié)助IT管理人員進(jìn)行項(xiàng)目和流程的管理，從而減少企業(yè)人員流動(dòng)對(duì)于項(xiàng)目造成的影響。

在這個(gè)“惟一不變的就是變化本身”的時(shí)代，在這個(gè)數(shù)據(jù)和知識(shí)爆炸的時(shí)代，如何有效的進(jìn)行企業(yè)IT系統(tǒng)建設(shè)的揚(yáng)棄和傳承？如何高效的利用企業(yè)數(shù)據(jù)資產(chǎn)？

這些問題猶如“格爾迪奧斯繩結(jié)”擺在我們的面前，而元數(shù)據(jù)恰是解開這個(gè)“結(jié)”的關(guān)鍵所在。對(duì)于企業(yè)IT系統(tǒng)建設(shè)而言，我們依然信奉“元數(shù)據(jù)不是萬能的，但沒有元數(shù)據(jù)是萬萬不能的”這句經(jīng)典詮釋。特別是對(duì)于那些組織結(jié)構(gòu)復(fù)雜、IT系統(tǒng)眾多的企業(yè)，這個(gè)組織和支撐它的IT系統(tǒng)要想有效運(yùn)轉(zhuǎn)起來，一定少不了元數(shù)據(jù)這種“潤(rùn)滑劑”。（E800）