企業(yè)數(shù)據(jù)倉庫中元數(shù)據(jù)的應用研究

申請免費試用、咨詢電話：400-8352-114

0 引 言

以數(shù)據(jù)倉庫為核心的商務智能(BI)技術日益受到業(yè)界重視，許多BI系統(tǒng)己經投入使用，帶來了巨大的效益。但是數(shù)據(jù)倉庫的數(shù)據(jù)質量問題已經嚴重影響了商務智能的應用能力，由此引發(fā)了人們對元數(shù)據(jù)管理和應用的研究。

元數(shù)據(jù)是“關于數(shù)據(jù)的數(shù)據(jù)”或“關于數(shù)據(jù)的結構化數(shù)據(jù)”，即關于數(shù)據(jù)的內容、質量、狀況和其他特性的信息。

1 數(shù)據(jù)倉庫的數(shù)據(jù)質量問題

基礎數(shù)據(jù)的正確性、真實性直接影響到報表和分析結果的可信度。突出的數(shù)據(jù)質量問題包括：

● 數(shù)據(jù)被錯誤理解

● 重要的事實錯誤傳達

● 不能判斷商業(yè)變化造成的影響

● 缺乏工具連貫性

● 缺乏查帳索引

數(shù)據(jù)質量問題主要是由分公司本身錄入、業(yè)務系統(tǒng)新舊多次切換和升級、業(yè)務擴展操作等原因造成。

從圖1數(shù)據(jù)質量管理體系架構圖我們可以看到：元數(shù)據(jù)是數(shù)據(jù)質量管理實現(xiàn)的基礎，元數(shù)據(jù)管理支撐功能的實施是數(shù)據(jù)質量管理系統(tǒng)的核心。

圖1 數(shù)據(jù)質量管理體系架構圖

數(shù)據(jù)質量管理系統(tǒng)的核心是元數(shù)據(jù)管理支撐功能的實施：

● 數(shù)據(jù)質量管理包含元數(shù)據(jù)管理

● 元數(shù)據(jù)管理功能為數(shù)據(jù)質量管理提供支撐

元數(shù)據(jù)是數(shù)據(jù)質量管理系統(tǒng)實現(xiàn)的基礎，是描述和控制BI系統(tǒng)中數(shù)據(jù)的數(shù)據(jù)，對上層功能提供信息支撐。

2 應用元數(shù)據(jù)提高數(shù)據(jù)質量的應用實例

可以提高數(shù)據(jù)質量的主要元數(shù)據(jù)業(yè)務應用包括：元數(shù)據(jù)瀏覽、數(shù)據(jù)時效性探察、指標管理與分析、數(shù)據(jù)血統(tǒng)分析、影響分析、處理過程分析、表重要程度分析和表無關程度分析等。

2.1 數(shù)據(jù)血緣分析

輔助管理人員對由BI系統(tǒng)提供的報表、指標的數(shù)據(jù)項進行血緣分析，了解該指標或報表元素由源系統(tǒng)到BI系統(tǒng)，由數(shù)據(jù)倉庫到前端顯示或者報表系統(tǒng)的計算過程和處理方法，管理人員可以通過血緣分析結合數(shù)據(jù)時效性探查來了解提供報表和指標的可信度或對CPIC的相應的指標定義和有關規(guī)范進行核查。

業(yè)務人員可以對由BI系統(tǒng)產生的某一個指標或者報表元素進行血源分析，即已知某一數(shù)據(jù)項，查找到該數(shù)據(jù)項從源系統(tǒng)到前端展示的若干ETL過程相關的數(shù)據(jù)項、計算方法、計算公式，形成該報表元素(或指標)的族譜圖，從而了解產生該數(shù)據(jù)項的流程。

2.2 處理過程分析

處理過程分析與數(shù)據(jù)血緣分析類似，但處理過程分析給出的是過程的執(zhí)行相關信息，數(shù)據(jù)血緣分析給出的是數(shù)據(jù)的流動信息。

2.2.1 影響分析

影響分析使你可以回答類似下面的一些問題：

● 我所做的這個改動還會影響到別的什么地方？

● 這個對象還依賴于別的什么對象？

圖2展示了在金融業(yè)務BI應用中用MetaStage進行交叉工具對數(shù)據(jù)質量影響的分析，我們可以清晰地通過元數(shù)據(jù)管理工具分析出—個數(shù)據(jù)對象在數(shù)據(jù)處理鏈條上的所有依賴關系。

圖2 MetaStage交叉工具影響分析示例

2.3 數(shù)據(jù)時效性探察

BI系統(tǒng)中的數(shù)據(jù)時效性是BI系統(tǒng)中數(shù)據(jù)質量的重要的組成部分，通過對BI系統(tǒng)元數(shù)據(jù)的管理，可以分析到某一條或某一些數(shù)據(jù)的時效性。首先通過元數(shù)據(jù)瀏覽和檢索功能，檢索感興趣某個數(shù)據(jù)項相關的元數(shù)據(jù)信息，探察該數(shù)據(jù)最后計算的時間；然后，通過元數(shù)據(jù)ETL分析，找到該元素以及和該元素相關的計算元素的ETL過程(從生產系統(tǒng)到數(shù)據(jù)倉庫，再從數(shù)據(jù)倉庫到前端展示系統(tǒng))的最終執(zhí)行時間。對上述時間進行探查分析，以決定該數(shù)據(jù)的時間有效性和真實性。

2.4 元數(shù)據(jù)相關性分析

在調整BI系統(tǒng)時，經常遇到調整一些系統(tǒng)而影響其他系統(tǒng)的情況。為了保證數(shù)據(jù)的一致性，需要對整個BI系統(tǒng)中的相關的元數(shù)據(jù)進行調整。此時，通過元數(shù)據(jù)相關性分析，找到所有需要進行調整的元數(shù)據(jù)，可以統(tǒng)一進行修改和調整。

3 結束語

元數(shù)據(jù)管理是提高數(shù)據(jù)倉庫數(shù)據(jù)質量的必由之路，元數(shù)據(jù)管理的復雜性及元數(shù)據(jù)管理的很多內容仍然需要依靠管理制度、流程、其它輔助工具以及人工參與來共同完成。