開發(fā)背景
隨著國內信息化建設的日益提高。各類客戶的業(yè)務系統(tǒng)所積累的業(yè)務數據日趨膨大。企業(yè)的領導者隨著市場競爭的加劇,非常希望能從紛繁的業(yè)務數據中提取綜合反映企業(yè)、單位綜合經營狀況的信息,從而幫助決策。但企業(yè)業(yè)務系統(tǒng)的不規(guī)范,數據的不統(tǒng)一,歷史數據的過于巨大以及反映信息的界面不夠友好,都阻礙了決策支持系統(tǒng)的建設。
數據倉庫技術的日趨成熟,正好可以有效的解決上面的問題。但現在多數廠商提供的數據倉庫解決方案已高昂的價格把大多都用戶拒之門外,而且也給采購他們系統(tǒng)的客戶帶來更大的風險。微軟MS SQLSERVER 是全球性價比最好的數據倉庫解決方案,同時也是全球布置最多的數據倉庫解決方案。
基于以上原因,青大海威公司基于微軟SQL SERVER所提供的數據倉庫框架結構,開發(fā)了更適合國內客戶應用習慣的前端多維分析報表工具:HDC iAnlyzer 和HDC iReport。2001年海威公司在MS SQL2000提供數據挖掘規(guī)范的基礎上又開發(fā)了通用的數據挖掘平臺軟件:HDC MINing。該系統(tǒng)不僅集成了微軟提供的兩種算法,而且可以根據客戶的實際情況選擇其他算法插件。
海威公司研發(fā)的全面的數據倉庫解決方案,是一套統(tǒng)用的決策支持解決方案,可廣泛的應用于政府、企業(yè)、交通、電信、金融等領域。
方案詳細介紹:
青大海威公司的業(yè)務智能解決方案面向政府、制造、通信、金融等個行業(yè)提供解決方案。
整個系統(tǒng)由三部分組成:第一部分是由用戶數據源到業(yè)務智能中央數據庫的ETL過程;第二部分是根據用戶業(yè)務模型建立業(yè)務智能分析模型;第三部分是面向終端用戶進行數據的發(fā)布和多維分析工作。
整個業(yè)務智能解決方案除前端數據發(fā)布和多維分析工具采用青大海威公司自己開發(fā)的HDC3數據展示套件外,其他各部分均基于微軟平臺構建。主要使用的微軟產品有:WINDOWS 2000 ADVANCED SERVER ,SQL SERVER2000,IIS等。如下頁圖所示:
方案中,數據的ETL過程采用微軟的DTS通過標準接口OLE DB或ODBC(針對不支持OLE DB的數據源,如:Sybase)定義ETL過程的數據源連接,通過DTS自帶的抽取規(guī)則或使用T-SQL腳本語言定義數據抽取、清洗和轉換方法,使用DTS提供的PACKAGE及工作流功能定義各PACKAGE的執(zhí)行順序,使用SQL SERVER中設置的定時任務對由DTS定義的任務包進行統(tǒng)一的管理和調度。
業(yè)務智能系統(tǒng)中央數據庫選用SQL SERVER 2000,其具體產品的選擇將視用戶的現有數據量及數據增量情況確定,一般推薦用戶使用SQL SERVER ENT計量管理軟件RISE EDITION(25 USERS)。在中央數據庫的實施過程中需要考慮數據量與效率、系統(tǒng)安全性與數據安全性、備份與還原策略等問題。這些問題的解決需要考慮使用SQL SERVER2000的分布式處理,WINDOWS2000的集群策略以及SQL SERVER2000的數據同步、數據定時備份和還原設置。
業(yè)務智能解決方案的核心部分是分析模型的構建和管理,這部份我們采用的是SQL SERVER2000自帶的OLAP服務器并使用Analysis Manager完成整個模型的構建,指標的設置、維度的設計、計算指標的定義(應用MDX)、模型分區(qū)設計、通過ADO MD和DSO進行模型操作應用設計,設置多維數據集存儲模式、定義多維數據集的聚合策略以及多維數據集的處理、多維數據集的備份及還原等操作。
業(yè)務智能系統(tǒng)的前端數據分析工具是整個系統(tǒng)的重要部分,通過這些工具用戶可以輕松訪問多維模型中的數據。這部分我們采用青大海威公司自己開發(fā)的HDC3數據展示套件。HDC3由三種產品組成:多維數據分析工具(iAnalyze)、報表工具(iReport)和挖掘工具(iDMine)組成。HDC3采用B/S結構,通過IIS和應用程序服務器(HDC APPLICATION SERVER)對遠程數據集進行存取,而網絡傳輸,則基于COM+技術(下一步將使用XML+WEB SERVICE)。多維數據分析工具和報表工具使用ADO MD接口對多維數據集(CUBE)進行數據訪問,使用MDX語句向OLAP SERVER提交查詢請求并獲得結果集。挖掘工具則使用OLE DB FOR Datamining接口與遠程的挖掘服務器進行數據交換,采用XML進行數據傳輸并使用PMML對挖掘結果進行描述。
系統(tǒng)主界面如下圖所示:
解決方案成功案例
用戶單位名稱:青島地稅
1. 稅收業(yè)務智能系統(tǒng)(開發(fā)時間2001年7月)
·功能:稅源分析、申報分析、繳納分析、發(fā)票分析、內部考核分析等
·硬件環(huán)境:
o 業(yè)務系統(tǒng)數據庫:Sybase13.5 for UNIX
o 中央數據庫服務器:4*PIII700Mhz,1G,4*40GSCSI
o OLAP 服務器:2*PIII,1G,2*20GSCSI
·開發(fā)環(huán)境:SQL SERVER 2000,VISUAL BASIC
2. 海爾商流業(yè)務智能系統(tǒng)(開發(fā)時間2002年6月)
· 功能:
進銷存分析、閉環(huán)控制分析、工貿分析等
· 硬件環(huán)境:
o 業(yè)務系統(tǒng)數據庫:DB2 for Windows,SQL SERVER2000,ORACLE8I
o 中央數據庫服務器:4*EXON,2G,4*80GSCSI
o OLAP 服務器:2*PIV1GHZ,2G,2*40GSCSI
· 開發(fā)環(huán)境:VISUAL BASIC,ASP,SQL SERVER 2000
效果與反饋
本方案在客戶原有業(yè)務系統(tǒng)的基礎上為客戶,特別是決策層提供了綜合分析運營狀況的信息。對決策者具有很大的幫助。
青島海關在計算機報上介紹經驗時寫道:
今年5月,加工貿易多維分析模塊和通關效率多維分析模塊先后開發(fā)完成,圍繞企業(yè)、商品和監(jiān)管過程這三個重點,形成交互信息作業(yè)平臺,在實現風險管理信息共享的基礎上,為風險識別、評估和分類控制作業(yè)提供了信息支持。
加工貿易多維分析應用于加工貿易趨勢分析、加工貿易企業(yè)風險分析、加工貿易商品風險分析以及通關效率分析等,主要是從企業(yè)方面、商品方面、加工單耗方面以及海關監(jiān)管等方面,對加工貿易企業(yè)及商品進行綜合分析,其中涉及到備案數量、進口數量、出口數量、備案價值、進口價值、出口價值、單耗、合同數、補稅額等二十幾個分析指標。通過鉆取和分析,確定重點商品、重點企業(yè),為加強海關監(jiān)管、控制通關以及制定各種業(yè)務規(guī)范提供了有力依據。
完成通關效率多維分析模塊,為各級決策者、通關效率監(jiān)控分析人員提供了強大的在線分析功能,實現對總體效率及各業(yè)務環(huán)節(jié)效率的隨時查詢了解; 能根據用戶的需要形成各種報表、圖形;可對報表進行任意排序;可將結果離線下載到本地數據庫(如ACCESS)中供用戶進一步分析使用。通過通關效率多維分析模塊,可以將海關平均通關時間計算時由天縮小到秒,使進口計算誤差縮小了30%,出口計算誤差縮小了60%,從而大大消除了過大的誤差