數據倉庫技術支持之決策支持系統(tǒng)

申請免費試用、咨詢電話：400-8352-114

1 數據倉庫技術

1.1 數據倉庫產生背景

應用和技術的發(fā)展是相互作用的，一方面，現代社會的廣泛電子化、數字化提供了前所未有的、有待加工和處理的原始數據。就一個企業(yè)而占，這些數據量大約五年就可以增加一倍，另外，數據的形式也突破了傳統(tǒng)的數字和符號，包括原始商業(yè)文檔、多種圖形、圖像數據等，故許多企業(yè)、部門并不是缺少數據，而是常常被過分重復和不一致的數據所困擾，從而越來越難以有效管理和存取這些數據，使之用于決策過程，這種局面自然導致一個強烈的要求，要求有一種系統(tǒng)能存取這些數據，并將它轉換成一種可信賴的、有用的信息。另一方面，現代企業(yè)經常面臨各種挑戰(zhàn)，如何最大限度的挖掘各種有用信息，使企業(yè)在激烈的市場競爭中立于不敗之地，并獲得最大的商業(yè)利潤，也為計算機信息處理技術提出了新的要求。

由此導致了數據倉庫技術的提出。數據倉庫是計算機應用領域里的一個嶄新方向，己成為90年代信息系統(tǒng)體系結構新的技術焦點，它是來自多個數據源的數據拷貝和集成，從歷史的角度來組織和存儲數據，同時保證關鍵任務數據的完整性和安全性，為企業(yè)發(fā)展提供有效的技術支持。

1.2 數據倉庫的基本概念

1998年剛剛發(fā)展起來的數據倉庫（Data Warehouse）技術的概念由美國著名工程學家W.H.lnmon博士于90年代在《建立數據倉庫》一防中提出：“數據倉庫是一個面向主題的、集成的、包含歷史數據的數據集合，它用于支持經營管理中的決策制定過程?！?

數據倉庫與傳統(tǒng)的數據庫系統(tǒng)相比有著本質的區(qū)別，數據庫是一種通用平臺，建立于嚴格的數學模刑之上，用來管理企業(yè)數據，進行事務處理，完成相關業(yè)務；而數據倉庫沒有嚴格的數據理淪，更偏向工程，它不是花錢就可購買的成品，而是企業(yè)一個日積月累的建立過程。它的應用對象是不同層次的管理者，它的數據源是多種數據源，庫中數據無須修改刪除，卞要是大規(guī)模查詢和分析。數據倉庫是來自多個源的數據的存儲庫，它可通過Internet將不同的數據庫連接起來，并將數據全部或部分復制到一個數據存儲中心。數據倉庫傾向于一個邏輯的概念，它建立在一定數量的數據庫之上，這些數據庫在物理上是可以分開的，甚至可以屬于不同的國家。數據倉庫通過Internet掃破地域界限，將它們合成一個邏輯整體，把一個海量的數據庫展現在用戶面前。

1.3 數據倉庫基本體系結構

為了能夠將已有的數據源提取出來，并組織成用于決策分析所需的綜合數據的形式，一個數據倉庫的基本體系結構中應有以卜幾個基本組成部分：

（1）數據源。指為數據倉庫提供最底層數據的運做數據庫系統(tǒng)及外部數據。

（2）監(jiān)視器。負責感知數據源發(fā)生的變化，并按數據倉庫的需求提取數據。

（3）集成器。將從運做數據庫中提取的數據經過轉換、計算、綜合等操作，井集成到數據倉庫中。

（4）數據倉庫。存儲己經按企業(yè)級視圖轉換的數據，供分析處理用。根據不同的分析要求，數據按不同的綜合程度存儲。數據倉庫中還應存儲元數據，其中記錄了數據的結構和數據倉庫的任務變化，以支持數據倉庫的開發(fā)和使用。

（5）客戶應用。提供用戶對數據倉庫中的數據進行訪問查詢，并以直觀的方法表示分析結果的工具。

圖1是斯扣福大學“WHPS”課題組提出的一個基本的數據倉庫模型。

圖1 數據倉庫基本結構

2 基于數據倉庫的電信事業(yè)決策支持系統(tǒng)設計

2.1 系統(tǒng)體系結構

在系統(tǒng)日常運做過程中積累了大量的計費系統(tǒng)數據和其它的一些文本數據，數據倉庫首先從這些數據源中抽取相關的數據，進行數據集成、轉換和綜合，將數據重新組合成面向全局的數據視圖，為DSS提供數據存儲和組織的基礎，解決了以往DSS中的數據不一致的問題。企業(yè)數據倉庫包括大量的業(yè)務處理系統(tǒng)的操作細節(jié)數據和其它的綜合數據，而在企業(yè)管理分析與決策中，人們所關心的大多是綜合性數據，需要從綜合性的、總的范圍來觀察數據。為此我們通過OLAP數據倉庫使用技術，可以把數據在一定層次上聚集，方便用戶的J陜速查詢，以及從多維的角度對數據進行切片、切塊、旋轉等操作，進一步增加用戶對數據的理解。此外，OLAP還可用于企業(yè)的報表分析，在日常的企業(yè)管理過程中，需要大量的報表，借助于OLAP工具可以便利的生成各種報表。

圖2 系統(tǒng)體系結構圖

數據挖掘可以在企業(yè)數據倉庫上直接進行，數據倉庫為數據挖掘提供了集成的、一致的、經過清理的數據，使數據挖掘免除了繁雜的數據準各過程。數據挖掘也可在OLAP服務器平臺上進行。在數據挖掘過程中，常常需要探測式的數據分析，從各種數據庫選擇相關數據，對各種數據選擇不同的粒度，以不同的形式提供知識和結果，而基于數據倉庫的OLAP完全可以為數據挖掘提供有關的數據操作支持。數據挖掘所得到的知識經決策者的審核后決定是否用于指導企業(yè)的決策。

2.2 系統(tǒng)數據倉庫設計

數據倉庫通常以星形模刑或雪花刑模刑組織和存儲數據，在這兩種模式中，都具有一個核心事實表。事實表是根據選定的卞題構造，存儲用于分析數據的度量值和各個維的值。維是用戶觀察分析數據的角度，如時間、地理等。在這兩種模式中，維的層次、內容等信息保存在維表中，并通過事實表中相應維的碼值與事實表相連。在本系統(tǒng)中采用星刑模刑 ,即以代表一定卞題的事實表和能表示概念層次的維表來建數據倉庫。

以面向主題的原則分析電信系統(tǒng)，選取話務量、帳務、營業(yè)、企業(yè)話費收入及用戶開戶四個主題。以賬務主題為例，其物理模刑如圖3所示：

圖3 賬務主題分析模型

其中賬務事實表包括與各個維度表相關聯的外鍵和分析數據的度量值，維度表包括出賬日期維度表、客戶年齡維度表、客戶群信息維度表、客戶所屬地理維度表和客戶付費方式維度表等。維度表的建立是為了從出賬日期、客戶年齡、客戶群信息、客戶所屬地理和客戶付費方式等角度分析花費和用戶的相關情況。

2.3 系統(tǒng)實現方案

此系統(tǒng)采用基于客戶/服務器的三層體系結構（如圖4），前端客戶群、中間應用層、后端的數據庫服務層。前端客戶端以Web瀏覽的形式負責處理和用戶的信息交互；中間應用層支持大量應用程序功能和實施業(yè)務規(guī)則，這一層的業(yè)務服務可以通過將基于服務器的Microsoft產品與定制的COM構件運行環(huán)境集成在一塊來實現，主要實現Web服務和通用的數據訪問功能；后端數據庫服務器存放并管理各種系統(tǒng)數據，封裝對數據庫的訪問，是系統(tǒng)訪問其它數據源的統(tǒng)一接口，OLAP和數據挖掘的應用，也通過這一層來訪問數據庫，它主要負責從業(yè)務處理源數據庫中抽取、轉換數據到數據倉庫。元數據，是關于數據倉庫的數據，是在數據倉庫建設過程中所產生的有關數據源定義、目標定義、轉換規(guī)則等相關的關鍵數據，負責數據倉庫中數據結構和業(yè)務規(guī)則的管理。

圖4 系統(tǒng)二層體系結構圖

在實驗中采用SQL Server2000作后臺數據庫服務器，以SQL Server2000的數據轉換服務（DTS）從源數據庫中抽取和轉化數據，送到數據倉庫中。在分析系統(tǒng)中采用Microsoft SQL Server Analysis Services，Analysis Services是用于聯機分析處理（OLAP）和數據挖掘的中間層服務器，將數據倉庫中的數據組織成包含預先計算聚合數據的多維數據集，通過在多維結構中對數據倉庫中的數據進行提取、匯總、組織和存儲，可以對最終擁護查詢做出快速響應。同時在DTS的任務里將會出現數據挖掘預測查詢任務，實現決策支持系統(tǒng)的數據挖掘預測功能。應用端采用VB開發(fā)應用程序，以豐富數據挖掘功能和加強多維分析的可視化以及報表的制作。

2.4 系統(tǒng)實現的決策功能

2.4.1 電信數據的多維分析

電信數據本身具有多維性，如呼叫時間、持續(xù)時間、呼叫者位置、被呼叫者位置、呼叫類刑、客戶信息等，對此類數據的多維分析有助于識別和比較數據通信情況，系統(tǒng)負載，資源使用，用戶組行為，利潤等。將電信數據組織成數據倉庫有利于使用OLAP和可視化工具進行多維分析。

2.4.2 電信數據的數據挖掘

數據挖掘可幫助識別滌用模式和異常模式，通過多維分析、聚類分析和孤立點分析可以發(fā)現滌用模式，進而采取相應措施應付這類模式。此外，多維分析中關聯和序列模式的發(fā)現有助于推動電信服務的發(fā)展，通過改進服務增加用戶滿意度和忠誠度等。

3 結束語

本系統(tǒng)采用數據倉庫、OLAP和數據挖掘二者相結合的決策系統(tǒng)方案，從企業(yè)高度出發(fā)建立綜合、穩(wěn)定一致的數據倉庫，和基于數據倉庫的OLAP強大的多維分析相結合，并支持企業(yè)各種報表生成，同時在數據倉庫和OLAP的便利平臺上采用各類數據挖掘算法發(fā)現隱藏的知識以支持企業(yè)的深層次決策。這種決策支持系統(tǒng)解決方案具有通用性，可用于金融、零信業(yè)等領域。

隨著各種計算機技術，如數據模型、數據庫技術和應用開發(fā)技術的不斷進步，數據倉庫技術也在不斷發(fā)展，并在實際應用中發(fā)揮巨大作用。（萬方數據）