如何保證企業(yè)數(shù)據(jù)的質(zhì)量

申請免費試用、咨詢電話：400-8352-114

解決數(shù)據(jù)倉庫中的數(shù)據(jù)質(zhì)量問題需要技術手段，也需要管理手段，還需要決策層給予充分的支持，從而在技術與業(yè)務互動中逐步解決數(shù)據(jù)質(zhì)量問題。

企業(yè)信息化的浪潮正如火如荼，電信、金融、石化等大型企業(yè)迫于市場競爭壓力紛紛實施數(shù)據(jù)倉庫項目來提升競爭力。數(shù)據(jù)倉庫項目實施的難題之一就是企業(yè)的數(shù)據(jù)質(zhì)量，在某種意義上講，如果企業(yè)能妥善地解決數(shù)據(jù)質(zhì)量問題，數(shù)據(jù)倉庫項目就已距離成功不遠了。

企業(yè)數(shù)據(jù)質(zhì)量問題

數(shù)據(jù)質(zhì)量問題的表現(xiàn)形式非常豐富。典型的有數(shù)據(jù)遺漏、數(shù)據(jù)錯誤、多義字段、矛盾值、違背業(yè)務規(guī)則、主鍵重復、無法關聯(lián)、沒有意義的默認值等。那么數(shù)據(jù)質(zhì)量問題是如何產(chǎn)生的呢？盡管該問題的出現(xiàn)與過多的系統(tǒng)和數(shù)據(jù)庫有關，但數(shù)千個文件和數(shù)據(jù)庫中不受控制的數(shù)據(jù)冗余以及數(shù)百個系統(tǒng)中不受控制的程序冗余才是真正原因。產(chǎn)生數(shù)據(jù)問題的原因可以歸結為以下幾個方面:

管理因素：各個部門獨立設計自己的應用系統(tǒng)，業(yè)務定義相互沖突。

系統(tǒng)因素：例如某些應用程序測試不充分，不斷產(chǎn)生錯誤的操作型數(shù)據(jù)。

數(shù)據(jù)遷移因素：業(yè)務系統(tǒng)更新后，會增加、刪減或修改部分舊的業(yè)務規(guī)則，在將老數(shù)據(jù)遷移進新系統(tǒng)后，可能會引入缺漏、錯誤、無法關聯(lián)等遺留問題。

輸入因素：比如前臺數(shù)據(jù)錄入可能造成數(shù)據(jù)質(zhì)量問題，有的前臺柜員為加快柜面辦理速度，對于客戶開戶時提供的家庭電話、職業(yè)、地址等信息并不做檢查，這會造成操作性數(shù)據(jù)的信息缺漏、錯誤等問題。

接口銜接因素：有時業(yè)務系統(tǒng)之間交換數(shù)據(jù)時接口Bug也可能引入臟數(shù)據(jù)。

其他因素還包括客戶通過網(wǎng)絡辦理業(yè)務時，基于隱私信息保護的心理，也可能僅僅填寫必需項或者隨意填寫，對企業(yè)而言有用的大量信息是空白或者不合常理，這也會造成信息缺漏或錯誤數(shù)據(jù)問題。

保證數(shù)據(jù)質(zhì)量的方法

數(shù)據(jù)質(zhì)量問題是全企業(yè)的事情，需要使用管理手段和技術手段相結合的辦法，通過摸索實踐，逐步建立一套完善的組織、流程、制度，持續(xù)地改進企業(yè)數(shù)據(jù)質(zhì)量，最后解決這一問題。

1.解決數(shù)據(jù)質(zhì)量問題的方法

一種方法是在數(shù)據(jù)源系統(tǒng)中進行解決，修改產(chǎn)生問題數(shù)據(jù)的應用程序和源系統(tǒng)中的錯誤數(shù)據(jù)。這種方法比較徹底，但修改應用程序需要較大的工作量，周期長，還需要管理層的允許，而且在多數(shù)情況下，在源系統(tǒng)中改動大量應用程序不具可行性；另一種方法是在數(shù)據(jù)的抽取、轉化與清洗（ETL）階段進行解決，可以僅對有問題的數(shù)據(jù)在轉換時進行修正，這種方法不需要改動數(shù)據(jù)源系統(tǒng)，簡單易行，周期短，缺點是無法徹底消除有問題數(shù)據(jù)的持續(xù)產(chǎn)生,而且ETL附加的轉換邏輯會比較復雜，累積的開銷也很大。

2．解決數(shù)據(jù)質(zhì)量問題的關鍵環(huán)節(jié)

一個是在項目初期設立數(shù)據(jù)質(zhì)量問題資料庫，對數(shù)據(jù)質(zhì)量問題進行跟蹤記錄，從問題開始暴露到解決方法提出、問題得到解決的全部過程都應盡量包括進去。企業(yè)業(yè)務人員和管理人員將根據(jù)資料庫中匯總的數(shù)據(jù)質(zhì)量問題出現(xiàn)位置、發(fā)生頻次、影響范圍、清理開銷等來更好地認識企業(yè)的數(shù)據(jù)質(zhì)量情況，相應地合理分配企業(yè)資源來支持。

其二是建立集中管理和控制的ETL平臺，因為這樣就能夠在轉換過程中執(zhí)行統(tǒng)一的問題清理策略。

另外就是利用數(shù)據(jù)倉庫提供的單一企業(yè)視圖，這能夠有效地發(fā)現(xiàn)數(shù)據(jù)質(zhì)量問題，對數(shù)據(jù)質(zhì)量的提升進行跟蹤、評估反饋。

尋求組織支持

解決數(shù)據(jù)質(zhì)量問題是整個企業(yè)相關的，具體體現(xiàn)為數(shù)據(jù)清理，但是清理什么、不清理什么、清理到什么程度、什么部門執(zhí)行則是業(yè)務與管理的問題，這個過程需要強有力的組織支持，因為跨部門協(xié)調(diào)以及執(zhí)行清理動作往往需要橫跨企業(yè)的強制力。這就需要設立專門的功能組織來推動。

建議解決數(shù)據(jù)質(zhì)量問題應建立如下功能組織：數(shù)據(jù)質(zhì)量管理組、業(yè)務咨詢委員會、技術咨詢委員會、數(shù)據(jù)倉庫項目組，這些小組既可以是全職也可以是兼職。數(shù)據(jù)質(zhì)量管理組包括：數(shù)據(jù)質(zhì)量分析員、業(yè)務聯(lián)絡人或者業(yè)務代表、數(shù)據(jù)管理員、技術支持人員。業(yè)務咨詢委員會包括業(yè)務部門領導和管理人員；技術咨詢委員會包括技術部門領導和管理人員；數(shù)據(jù)倉庫項目組則是負責建設企業(yè)數(shù)據(jù)倉庫的人員。其中數(shù)據(jù)質(zhì)量管理組是重要的組織，處于核心位置。

總之，企業(yè)數(shù)據(jù)質(zhì)量問題的解決是一個長期的過程，業(yè)務管理部門與技術部門需要充分的溝通與協(xié)作，一起配合數(shù)據(jù)質(zhì)量組織，共同建立一套有效的解決數(shù)據(jù)質(zhì)量的組織、方法與流程，徹底解決數(shù)據(jù)質(zhì)量問題。 (ccw)