ESB在數(shù)據(jù)倉庫建設(shè)中的應(yīng)用

申請免費試用、咨詢電話：400-8352-114

1、企業(yè)數(shù)據(jù)倉庫系統(tǒng)建設(shè)的需求

目前大多數(shù)企業(yè)根據(jù)自己的業(yè)務(wù)特點和辦公的需要，建立了一大批各自的業(yè)務(wù)處理系統(tǒng)和企業(yè)辦公自動化系統(tǒng)，積累了大量的業(yè)務(wù)數(shù)據(jù)。這些業(yè)務(wù)信息系統(tǒng)為提高企業(yè)的工作效率，減少重復(fù)性的工作起到了積極的作用，為企業(yè)的發(fā)展做出了巨大貢獻。但是這些系統(tǒng)的數(shù)據(jù)隨著時間和業(yè)務(wù)的發(fā)展而不斷膨脹，同時數(shù)據(jù)分布在不同的系統(tǒng)平臺上，具有多種存儲形式。隨著市場競爭的加劇，信息對于企業(yè)的生存和發(fā)展起著愈來愈重要的作用。管理人員常常希望能夠通過對組織中的大量數(shù)據(jù)進行分析，了解業(yè)務(wù)的發(fā)展趨勢，而傳統(tǒng)數(shù)據(jù)庫只保留了當(dāng)前的業(yè)務(wù)處理信息，缺乏決策分析所需要的大量歷史信息。

為此，建立基于數(shù)據(jù)倉庫的商務(wù)智能系統(tǒng)，為企業(yè)的發(fā)展決策提供有根有據(jù)的事實支持。數(shù)據(jù)倉庫是指面向主題的、一致的、不同時間的、穩(wěn)定的數(shù)據(jù)集合，用于支持經(jīng)營管理中的決策支持過程。數(shù)據(jù)倉庫系統(tǒng)是通過對生產(chǎn)經(jīng)營過程涉及的銷售、庫存、生產(chǎn)、采購等業(yè)務(wù)財務(wù)數(shù)據(jù)、市場行情、競爭對手等外部數(shù)據(jù)進行收集、管理、處理、分析，進而給出綜合分析結(jié)果的計算機信息處理系統(tǒng)。

2、ETL技術(shù)

構(gòu)建數(shù)據(jù)倉庫的一個關(guān)鍵核心技術(shù)是數(shù)據(jù)集成和遷移?，F(xiàn)在，一般是以ETL（以抽取、轉(zhuǎn)換、加載)集成遷移工具實現(xiàn)。ETL作為數(shù)據(jù)倉庫構(gòu)建的核心和靈魂，它能夠按照統(tǒng)一的規(guī)則集成并提高數(shù)據(jù)的價值，是負(fù)責(zé)完成數(shù)據(jù)從數(shù)據(jù)源向目標(biāo)數(shù)據(jù)倉庫轉(zhuǎn)化的過程，是實施數(shù)據(jù)倉庫的重要步驟。

ETL是在數(shù)據(jù)遷移過程中進行數(shù)據(jù)抽取(extract)、轉(zhuǎn)換(transform)和加載(load)的過程。ETL過程的主要目的就是以最小代價將面向日常業(yè)務(wù)操作的數(shù)據(jù)轉(zhuǎn)化為面向數(shù)據(jù)倉庫存儲的決策支持型數(shù)據(jù)。傳統(tǒng)的方法是手動編寫SQL語句和相對應(yīng)的程序來實現(xiàn)數(shù)據(jù)抽取轉(zhuǎn)換工作。這種方法對技術(shù)人員的專業(yè)水平要求很高，又要求對業(yè)務(wù)方面有足夠的了解。傳統(tǒng)方式實現(xiàn)的抽取轉(zhuǎn)換工作在經(jīng)歷了一段時間后會造成SQL語句的數(shù)量急劇增加，系統(tǒng)會逐漸變得難以維護，模塊難以復(fù)用。因此采用通用成熟的ETL工具來實現(xiàn)對業(yè)務(wù)系統(tǒng)中數(shù)據(jù)的集中，可以提高復(fù)用維護的簡易性，減少設(shè)計抽取轉(zhuǎn)換流程的難度，使技術(shù)人員把精力放在業(yè)務(wù)上而非實現(xiàn)的細(xì)節(jié)上。

ETL工具的本質(zhì)是數(shù)據(jù)轉(zhuǎn)換器，它提供一種從源到目標(biāo)系統(tǒng)轉(zhuǎn)換數(shù)據(jù)的方法。這個功能傳統(tǒng)上由程序員來完成，需要針對每一種數(shù)據(jù)源編寫不同的數(shù)據(jù)抽取和裝載的程序，效率極其低下。ETL工具提供一種通用的解決方案，它一般用圖形化方式來生成用于數(shù)據(jù)轉(zhuǎn)換裝載的程序代碼，即直觀高效地生成一個專用的數(shù)據(jù)轉(zhuǎn)換器，從而減少了70%一80%的工作。

ETL過程可分為三步：首先是從數(shù)據(jù)源(底層的業(yè)務(wù)系統(tǒng))中，將所需要的數(shù)據(jù)抽取出來；然后轉(zhuǎn)換為目標(biāo)數(shù)據(jù)存儲的數(shù)據(jù)格式；最后將轉(zhuǎn)換后的數(shù)據(jù)加載到數(shù)據(jù)倉庫中，為了解決“臟數(shù)據(jù)”的數(shù)據(jù)質(zhì)量問題，還會在數(shù)據(jù)轉(zhuǎn)換步驟后加入數(shù)據(jù)清洗功能。ETL包括以下3個組成部分：

1）數(shù)據(jù)的抽?。褐笍牟煌木W(wǎng)絡(luò)、不同的操作平臺、不同的數(shù)據(jù)庫和數(shù)據(jù)格式、不同的應(yīng)用中提取數(shù)據(jù)的過程；數(shù)據(jù)抽取有完全抽取和增量式抽取。數(shù)據(jù)倉庫中的數(shù)據(jù)很大一部份是用來反映歷史情況的，抽取功能不只是簡單的數(shù)據(jù)庫導(dǎo)向的過程，更多是一個獲取增量數(shù)據(jù)的過程。

2）數(shù)據(jù)的轉(zhuǎn)換：指數(shù)據(jù)的轉(zhuǎn)化(數(shù)據(jù)的合并、匯總、過濾、轉(zhuǎn)換等)、數(shù)據(jù)的重新格式化和計算、關(guān)鍵數(shù)據(jù)的重新構(gòu)建和數(shù)據(jù)總結(jié)、數(shù)據(jù)定位等。

3）數(shù)據(jù)的加載：跨網(wǎng)絡(luò)、跨操作系統(tǒng)平臺，將數(shù)據(jù)按照物理數(shù)據(jù)模型定義的表結(jié)構(gòu)裝入目標(biāo)數(shù)據(jù)庫中。

3、應(yīng)用協(xié)同Syn__chroESB實現(xiàn)ETL

3.1 Syn__chroESB的ETL功能概述

協(xié)同Syn__chroESB是以SOA架構(gòu)為核心的企業(yè)服務(wù)總線（ESB），它是一個基于標(biāo)準(zhǔn)的、面向消息的、高度分布的、具有智能路由的系統(tǒng)整合平臺。它在JBI規(guī)范的基礎(chǔ)上，實現(xiàn)了數(shù)據(jù)集成服務(wù)，包含了ETL相關(guān)組件，具有普通ETL工具所具有的功能。它又是一個開放的平臺，用戶可以編寫自己的組件插入到Syn__chroESB總線上，實現(xiàn)特定的功能。

Syn__chroESB的數(shù)據(jù)集成服務(wù)主要包括歷史數(shù)據(jù)遷移、數(shù)據(jù)同步、數(shù)據(jù)合并、數(shù)據(jù)倉庫等服務(wù)。

    * 歷史數(shù)據(jù)遷移：實現(xiàn)歷史遺留數(shù)據(jù)的重用，將歷史數(shù)據(jù)遷移到新的目標(biāo)數(shù)據(jù)庫中。

    * 數(shù)據(jù)同步：實現(xiàn)分布的數(shù)據(jù)庫中數(shù)據(jù)的上傳、下載，保證分布數(shù)據(jù)庫中的數(shù)據(jù)的一致性。

    * 數(shù)據(jù)合并：實現(xiàn)不同應(yīng)用的數(shù)據(jù)庫中的個性化數(shù)據(jù)到統(tǒng)一結(jié)構(gòu)的數(shù)據(jù)庫中的數(shù)據(jù)的合并，包括清洗、轉(zhuǎn)換等操作。

    * 數(shù)據(jù)倉庫：實現(xiàn)將分散的數(shù)據(jù)集中到統(tǒng)一的數(shù)據(jù)倉庫中，并建立統(tǒng)一的數(shù)據(jù)模型來存儲。

Syn__chroESB的ETL處理主要包括：

    *  實現(xiàn)數(shù)據(jù)源的批量抽取、增量抽取、定時抽取，支持主流數(shù)據(jù)庫、非結(jié)構(gòu)化數(shù)據(jù)、平面文件等多種數(shù)據(jù)源，經(jīng)過數(shù)據(jù)抽取后，將各種數(shù)據(jù)來源的數(shù)據(jù)在技術(shù)層面上實現(xiàn)XML格式統(tǒng)一；

    * 實現(xiàn)對于分布式的部署系統(tǒng)的數(shù)據(jù)傳輸，提供可靠性傳輸機制，支持?jǐn)?shù)據(jù)的壓縮、加密等處理；實現(xiàn)數(shù)據(jù)的加工，主要包括數(shù)據(jù)的清洗、轉(zhuǎn)換處理。

    * 實現(xiàn)高效的流程并行調(diào)度，并可以批量將數(shù)據(jù)載入，適合于海量數(shù)據(jù)的處理。