基于數據驅動的企業(yè)決策系統(tǒng)應用分析

申請免費試用、咨詢電話：400-8352-114

引 言

隨著計算機管理信息系統(tǒng)(Management Information System，簡稱MIS)的飛速發(fā)展和廣泛應用，企業(yè)生產經營的自動化水平不斷提高，它把人們從繁瑣的事務處理中解脫出來，由原來的人工處理變成了計算機的科學管理，大大提高了工作效率。但高效率并不完全等同于高效益，企業(yè)業(yè)務系統(tǒng)運行所產生的大量原始數據是企業(yè)生產經營活動的真實記錄，但由于缺乏集中存儲和管理，這些數據不能為本企業(yè)加以利用，不能進行有效的統(tǒng)計、分析及評估，無法將這些數據轉換成企業(yè)有用的信息、為企業(yè)戰(zhàn)略決策提供參考和支持，也就無法像預期那樣帶來巨大的社會經濟效益。企業(yè)海量業(yè)務數據利用率低下正日益成為企業(yè)信息化建設過程中的一塊短板，設計開發(fā)基于數據驅動的企業(yè)決策支持系統(tǒng)(Decision Support System，簡稱DSS)是合理解決這一問題，提升企業(yè)綜合競爭力的最佳對策。

基于數據驅動的企業(yè)決策支持系統(tǒng)

在企業(yè)自動化控制中，決策支持系統(tǒng)與管理信息系統(tǒng)是計算機技術應用于管理活動的兩個不同發(fā)展階段，MIS主要完成例行的日常信息處理任務，而DSSul是在傳統(tǒng)的MIS基礎上發(fā)展起來的一門交叉科學，是計算機技術、運籌學理論和管理科學相結合的交互式系統(tǒng)，用以幫助決策者使用數據和模型去解決結構化較差的問題。

基于數據驅動的決策支持系統(tǒng)是DSS的一種，強調運用數據倉庫(Data Warehousing)、聯(lián)機分析處理(Online Analytical Processing，OLAP)、數據挖掘(Data Mining)等技術進行大規(guī)模歷史數據的采集、整理、分析、挖掘、比對、預測與展示，歸納出業(yè)務活動的規(guī)律性及其發(fā)展趨勢，以支持決策制定過程。具體的，該系統(tǒng)應該能夠基于數據驅動對各部門業(yè)務系統(tǒng)中的原始資料進行整合加工、提煉濃縮和格式轉換，形成標準的格式化數據存儲于集中的數據倉庫中，為決策者提供決策所需的數據、信息和背景資料，幫助明確決策目標和進行問題的識別，提供各種備選方案，并對各種方案進行評價和優(yōu)選，為正確決策提供有益幫助。

體系結構

位于最底層的是企業(yè)各部門運行的各類業(yè)務管理信息系統(tǒng)，包括生產管理系統(tǒng)、銷售管理系統(tǒng)、庫存管理系統(tǒng)、財務管理系統(tǒng)、人事管理系統(tǒng)、物流管理系統(tǒng)等。當前企業(yè)信息化建設主要還停留在這一層面，各管理信息系統(tǒng)在促進管理、提高效率的同時也能在所屬部門對預測、決策提供一定的支持。但不同部門、業(yè)務、系統(tǒng)、后臺的差異直接影響了各部門數據的綜合利用，無法發(fā)揮整體效應，須加以整合。第二層的數據倉庫是一個面向主題的(Subject Oriented)、集成的(Integrate)、相對穩(wěn)定的(Non-Volatile)、反映歷史變化(Time Variant)的數據集合，用于支持管理決策。接下來是數據挖掘和在線分析處理層面負責從數據倉庫中挖掘有用的知識，其知識的形式有產生式規(guī)則、決策樹、數據集與公式等。最終的數據展示層面包括后臺報表引擎和前臺報表查詢，主要面向用戶并負責向用戶提供各種預定義查詢、動態(tài)查詢、OLAP查詢、智能查詢和各類關系數據表格、復雜表格、OLAP表格、報告、綜合報表等，用易于理解的點線圖、直方圖、餅圖、網狀圖、交互式可視化、動態(tài)模擬、計算機動畫技術為決策分析人員展現(xiàn)復雜數據及其相互關系。

數據倉庫的構建

數據倉庫的構建需要通過ETL(Extract-Transform-Load)過程實現(xiàn)。ETL即數據的抽取、轉換和裝載，目的是將分散、零亂、標準不統(tǒng)一的業(yè)務系統(tǒng)的數據經過抽取、清洗轉換整合到一起，加載到數據倉庫，為分析決策提供依據。這一步驟完成之后，對庫中數據的數據挖掘、分析處理才可以進行。

數據抽取是構建數據倉庫的第一步，在實施之前需對數據源作詳細地分析調研。了解一個企業(yè)由哪些部門組成，各部門運行哪些業(yè)務管理信息系統(tǒng)，各自后臺數據庫管理服務器是什么？是否存在未實施信息化的部門和手工數據，有多少數據量等等。對于手工錄入的數據，如文本文件和EXCEL文件。一般先通過數據庫導入工具將這些數據導入到指定的數據庫，然后數據倉庫從指定的數據庫抽取。對于已經運行業(yè)務系統(tǒng)且后臺數據庫與數據倉庫一致的情況，一般可利用數據庫鏈接功能，在數據倉庫服務器和數據庫服務器之間建立鏈接關系通過查詢語句直接訪問數據源；如果不一致，一般情況下也可以通過ODBC的方式建立數據庫鏈接。有時候為了安全是不允許數據庫方式直接鏈接的，這種情況只能通過數據抽取軟件將源數據導出成文本文件或是EXCEL文件，然后再轉入數據倉庫中?；蛘咧苯油ㄟ^程序接口來完成。

抽取之后進行數據轉換，同時往往伴隨著數據的清洗和整合。清洗的任務是過濾那些不符合要求的數據，將過濾的結果交給業(yè)務主管部門，確認是否過濾掉還是由業(yè)務單位修正之后再進行抽取。數據清洗之前必須先根據預定義規(guī)則進行檢測，及時發(fā)現(xiàn)不符合要求的數據。對于不完整的數據進行補全，對于錯誤的數據進行修正，對于重復的數據確認后刪除，以確保數據質量。數據轉換的任務主要是進行不一致的數據轉換、數據粒度的轉換和一些商務規(guī)則的計算。不一致數據轉換過程將不同業(yè)務系統(tǒng)的相同類型的數據統(tǒng)一整合，在此基礎上分析、比較才能夠進行。統(tǒng)一整合有兩種途徑，一種是以某一個系統(tǒng)編碼為標準，來自其他系統(tǒng)的數據編碼經過統(tǒng)一的規(guī)則轉換為標準編碼；另一種是單獨建立一套標準編碼體系，定義各業(yè)務系統(tǒng)編碼與標準編碼的對應關系，然后根據對應關系轉換。數據粒度的轉換是將業(yè)務系統(tǒng)數據按照數據倉庫粒度進行聚合，通常是為了降低數據倉庫存儲量，提高數據挖掘效率。通過商務規(guī)則的計算可以預先將需要經過復雜運算的結果計算好了之后存儲在數據倉庫中，分析時就不用再重新計算，可大大提高數據倉庫運行效率。

為了方便進行數據清洗和轉換，可借助臨時中間層來進行過渡。抽取來的數據先存儲到臨時中間層中，在臨時中間層進行數據質量檢測和數據轉換。然后裝載到數據倉庫中，這樣可以大大減少對數據倉庫的頻繁操作。同時，臨時中間層中依然保留非常明細的業(yè)務系統(tǒng)數據，在需要時隨時可以再次裝載到數據倉庫中進行較高粒度的分析。

決策支持系統(tǒng)的構建

通過數據采集和加工處理，我們在數據倉庫中存儲了大量的歷史數據和匯總數據。基于數據驅動的決策支持系統(tǒng)的構建，就是以此為基礎，充分利用高效的數據分析挖掘手段對數據進行多角度、多層次、動態(tài)、高效的統(tǒng)計分析，并以固定報表、即席查詢、圖形等豐富多彩的數據展現(xiàn)形式提供給前臺訪問用戶，從而為預測、判斷、決策提供支持。

聯(lián)機分析技術和數據挖掘技術都是數據倉庫工具，為決策支持系統(tǒng)提供數據驅動。聯(lián)機分析處理集中于數據的分析，提供多維數據分析、縱向鉆取，支持實施數據的切片、旋轉功能，能夠引導用戶對數據從不同層次上進行觀察分析，對于同一層次的數據提供組織數據視圖的工具，引導用戶從不同視角上對同一層次數據進行分析，層次分析與角度分析交互進行，允許用戶利用動態(tài)表格、動態(tài)圖形或圖表決策分析，同時，通過OLAP可從數據倉庫中提取綜合數據和信息，產生出新的規(guī)則、方法和模型，結果放入規(guī)則庫、方法庫和模型庫；數據挖掘技術能找出數據庫中隱藏的信息，用模型來擬和數據、探索型數據分析(Exploratory Data Analysis)、進行數據驅動型的發(fā)現(xiàn)(Data Driven Discovery)和演繹型學習(Deductive Learning)。運用一種或多種算法對海量數據進行探索，試圖發(fā)現(xiàn)未知的模式或關系，最終做出預測或總結規(guī)律。數據挖掘技術致力于知識的自動發(fā)現(xiàn)、從內部獲取知識，同時通過專家系統(tǒng)從外部獲取專家經驗，由推理機制實現(xiàn)了內、外部知識的結合應用，為決策提供輔助性的分析。

數據挖掘和聯(lián)機分析處理的結果通過報表組件展現(xiàn)在用戶面前。報表平臺包括三個層面：報表設計層，報表管理層和報表展示層。報表設計層負責報表的腳本定義、模板設計、制作、發(fā)布和報表數據生成，報表管理層負責報表集成管理、用戶權限管理、角色權限管理，報表展示層利用報表查看器實現(xiàn)報表瀏覽、導出、打印和圖表分析功能，以及對于報表的動態(tài)排序、控制數據格式與金額單位的轉化。報表平臺提供最終用戶界面，要求簡單易用且功能強大，具有良好的權限控制。

信息化實戰(zhàn)

系統(tǒng)原型是一家機械制造加工企業(yè)，生產的周期性強，產品需求變化劇烈，企業(yè)生產計劃和調度面臨著管理復雜的內部資源的壓力。該企業(yè)開展信息化建設較早，包括生產、庫存、銷售、市場、物流、財務等各個部門已經不同程度的應用著管理信息系統(tǒng)來支持日常業(yè)務處理，在長期的企業(yè)生產運作過程中積累了大量寶貴的業(yè)務數據。在日益激烈的市場競爭環(huán)境下，企業(yè)迫切希望能夠整合內、外部一切可用信息資源，通過綜合分析挖掘其隱含的、潛在的關系、趨勢等為企業(yè)管理和決策服務，提高企業(yè)的核心競爭力。

針對企業(yè)現(xiàn)狀，基于數據驅動建立企業(yè)決策支持系統(tǒng)是較好的解決方案。從數據安全考慮，我們在系統(tǒng)實現(xiàn)時沒有采用數據倉庫與業(yè)務系統(tǒng)數據庫直聯(lián)的取數方式，而是采用“前置服務器”雙網卡隔離方式，通過自動定時或手工觸發(fā)來進行數據采集，能夠確保網絡信息安全。

系統(tǒng)硬件平臺分為五層，前置客戶端位于各部門業(yè)務系統(tǒng)數據庫與決策中心前置服務器之間，負責提取數據發(fā)送到決策中心。前置服務器負責接收數據，同時作為臨時中間層，對數據作清洗、轉換并裝載到數據倉庫中。數據倉庫服務器負責數據倉庫存儲與管理，OLAP服務器負責數據挖掘和聯(lián)機分析處理操作，報表服務器安裝報表引擎，負責報表設計、生成和發(fā)布。分別配置如下：前置客戶端、前置服務器與報表服務器HP ML350(Intel Xeon主頻2800MHz／內存256M／硬盤40G)；數據倉庫服務器與0LAP服務器HP ML570(Intel-Xeon-MP主頻3660MHz／內存1G／硬盤80G)。本實例采用Oracle數據倉庫解決方案，IIS5.0服務器作為報表發(fā)布平臺，用戶能隨意對不同“指標”上的業(yè)務數據進行多種分析比較，很好的滿足了企業(yè)在多維環(huán)境下特定的查詢和報表需求。通過綜合分析，企業(yè)決策層更好的把握了產品的供應、生產、銷售、庫存的內在聯(lián)系、規(guī)律和趨勢，以此為依據合理主動地調整生產計劃，實現(xiàn)既定的目標。

基于數據驅動的DSS能夠有效的把大量業(yè)務歷史數據轉化為有用的參考信息和決策依據，大大地提高了決策能力、決策水平和決策質量，顯示了強大的生命力。相信隨著數據挖掘過程的不斷簡化和在線分析處理功能的不斷增強，該系統(tǒng)必將得到更為廣泛的應用。