淺談數(shù)據(jù)庫在交換網(wǎng)綜合網(wǎng)管告警分析中的應用

申請免費試用、咨詢電話：400-8352-114

摘要：文章主要討論怎樣利用mysql數(shù)據(jù)庫及數(shù)據(jù)庫管理工具kettle和navicat，使用sql語言的查詢語法實現(xiàn)對原始告警數(shù)據(jù)的篩選工作，從而達到減輕日常的告警分析工作量、提高工作效率的目的。 

關鍵詞：交換網(wǎng)  數(shù)據(jù)庫  sql  1 背景資料  隨著交換網(wǎng)絡的不斷發(fā)展，對現(xiàn)有交換網(wǎng)絡網(wǎng)元監(jiān)控及維護的要求越來越嚴格，需要建成一套處理能力強、功能豐富、傳輸速率高、擴展性強的先進交換網(wǎng)綜合網(wǎng)管系統(tǒng)，實現(xiàn)對交換通信網(wǎng)絡的集中管理、集中監(jiān)控和集中維護。  由于交換網(wǎng)綜合網(wǎng)管監(jiān)控全網(wǎng)所有交換局點，交換機機型的多種多樣性造成交換綜合網(wǎng)管收集交換局點上報的告警復雜多樣。鐵通公司現(xiàn)網(wǎng)程控交換機型主要有三種，分別為：華為機型、中興機型、貝爾機型。每天交換網(wǎng)綜合網(wǎng)管收集交換局點上報告警達到數(shù)萬條，交換網(wǎng)綜合網(wǎng)管收集告警多，而且種類也十分繁雜，這是由于交換機的廠家不同，造成同一類別告警在交換綜合網(wǎng)管上呈現(xiàn)的告警級別嚴重程度也不相同，而真正找出那些對交換網(wǎng)業(yè)務有影響的告警，就變得十分困難，這對告警分析工作造成很大的工作量，使告警分析工作的工作效率十分低。為了改變這一現(xiàn)狀需要對所有廠家交換機的告警進行告警標準化。  2 應對措施  告警標準化的含義也就是對廠家告警進行全量梳理，重新定義告警的級別、分類、影響等內容，實現(xiàn)不同廠家專業(yè)告警的統(tǒng)一定義、統(tǒng)一處理要求、統(tǒng)一管理，從而標準化故障管理。標準化告警內容如下表，其中網(wǎng)管告警id是告警唯一標識字段。  3 數(shù)據(jù)庫應用  經(jīng)過長期摸索及實踐，為了便于對交換網(wǎng)綜合網(wǎng)管收集的告警進行分析，我們開發(fā)了一套交換網(wǎng)綜合網(wǎng)管告警分析系統(tǒng)。該系統(tǒng)的組成及運作方式如下：  ①采用mysql數(shù)據(jù)庫進行告警及基礎數(shù)據(jù)管理。  ②利用kettle以每3小時一次自動抽取24小時內+手工抽取4小時內兩種方式獲得綜合網(wǎng)管系統(tǒng)告警數(shù)據(jù)庫的告警記錄。  ③以局點、發(fā)生時間及告警描述為關鍵字，用“插入/更新”的方式裝載到分析系統(tǒng)。  ④根據(jù)預先制定的關鍵字關聯(lián)篩選出重要告警。  ⑤最后再按照局點及告警明細對首次發(fā)生時間、最后恢復時間、累計時長及發(fā)生次數(shù)進行歸集呈現(xiàn)。  所謂關系數(shù)據(jù)庫，是建立在關系模型基礎上的數(shù)據(jù)庫，借助于集合代數(shù)等數(shù)學概念和方法來處理數(shù)據(jù)庫中的數(shù)據(jù)?，F(xiàn)實世界中的各種實體以及實體之間的各種聯(lián)系均用關系模型來表示。關系模型是由埃德加•科德于1970年首先提出的?，F(xiàn)如今雖然對此模型有一些批評意見，但它還是數(shù)據(jù)存儲的傳統(tǒng)標準。標準數(shù)據(jù)查詢語言sql就是一種基于關系數(shù)據(jù)庫的語言，這種語言執(zhí)行對關系數(shù)據(jù)庫中數(shù)據(jù)的檢索和操作。關系模型由關系數(shù)據(jù)結構、關系操作集合、關系完整性約束三部分組成。  目前主流關系數(shù)據(jù)庫中付費的有oracle、informix、ms-sql server、sybase、access等；免費的有mysql、postgresql等。其中oracle被稱為花錢的數(shù)據(jù)庫中功能最強的；而不花錢的數(shù)據(jù)庫中postgresql號稱功能最強，但運用最廣泛卻是mysql，而我們的交換網(wǎng)綜合網(wǎng)管告警分析系統(tǒng)是基于mysql數(shù)據(jù)庫。  mysql數(shù)據(jù)庫是一個中、小型關系型數(shù)據(jù)庫管理系統(tǒng)，由瑞典mysql ab公司開發(fā)，目前屬于oracle公司。mysql是一種關聯(lián)數(shù)據(jù)庫管理系統(tǒng)，關聯(lián)數(shù)據(jù)庫將數(shù)據(jù)保存在不同的表中，而不是將所有數(shù)據(jù)放在一個大倉庫內，這樣就增加了速度并提高了靈活性。mysql的sql語言是用于訪問數(shù)據(jù)庫的最常用標準化語言。mysql軟件采用了gpl（gnu通用公共許可證），它分為免費版和商業(yè)版，由于其體積小、速度快、總體擁有成本低，尤其是開放源碼這一特點，一般中小型網(wǎng)站的開發(fā)都選擇mysql作為網(wǎng)站數(shù)據(jù)庫。由于其免費版的性能卓越，搭配php和apache可組成良好的開發(fā)環(huán)境。  與mysql數(shù)據(jù)庫搭配使用我們選擇的數(shù)據(jù)庫管理和開發(fā)工具是navicat。navicat為專業(yè)開發(fā)者提供了一套強大的足夠尖端的工具，但它對于新用戶仍然是易于學習。使用了極好的圖形用戶界面（gui），可以讓你用一種安全和更為容易的方式快速和容易地創(chuàng)建、組織、存取和共享信息?；趙indows平臺，為mysql量身訂作，提供類似于mssql的用管理界面工具。此解決方案的出現(xiàn)，將解放php，j2ee等程序員以及數(shù)據(jù)庫設計者、管理者的大腦，降低開發(fā)成本，為您帶來更高的開發(fā)效率。用戶可完全控制mysql數(shù)據(jù)庫和顯示不同的管理資料，包括一個多功能的圖形化管理用戶和訪問權限的管理工具，方便將數(shù)據(jù)從一個數(shù)據(jù)庫移轉到另一個數(shù)據(jù)庫中（local to remote、remote to remote、remote to local），進行檔案備份。navicat支援unicode，以及本地或遙距mysql伺服器多連線，用戶可瀏覽數(shù)據(jù)庫、建立和刪除數(shù)據(jù)庫、編輯數(shù)據(jù)、建立或執(zhí)行sql queries、管理用戶權限（安全設定）、將數(shù)據(jù)庫備份/復原、匯入/匯出數(shù)據(jù)（支援csv, txt,dbf和xml檔案種類）等。  利用上述數(shù)據(jù)庫工具我們建立交換網(wǎng)綜合網(wǎng)管告警分析數(shù)據(jù)庫，在交換網(wǎng)綜合網(wǎng)管告警分析數(shù)據(jù)庫中建立的第一個數(shù)據(jù)表為原始告警數(shù)據(jù)表，此表中的數(shù)據(jù)來源于交換網(wǎng)綜合網(wǎng)管收集的全網(wǎng)交換機上報的所有原始告警。第二個數(shù)據(jù)表為告警類型表，該表數(shù)據(jù)內容是廠家告警標準化的映射數(shù)據(jù)。  4 原始告警自動采集  交換網(wǎng)綜合網(wǎng)管告警分析系統(tǒng)數(shù)據(jù)庫數(shù)所需據(jù)表已經(jīng)建立完畢，現(xiàn)在接下來說一下交換網(wǎng)綜合網(wǎng)管告警分析系統(tǒng)數(shù)據(jù)庫的原始告警收集。交換網(wǎng)綜合網(wǎng)管將全網(wǎng)交換機上報的告警進行收集，存放到交換網(wǎng)綜合網(wǎng)管的告警數(shù)據(jù)庫中，而交換網(wǎng)綜合網(wǎng)管告警分析系統(tǒng)的數(shù)據(jù)庫與交換網(wǎng)綜合網(wǎng)管的告警數(shù)據(jù)庫是相互分離的，那它們之間的數(shù)據(jù)傳遞就存在問題。怎樣將綜合網(wǎng)管數(shù)據(jù)庫中的告警導入到告警分析系統(tǒng)中呢？可以人工操作，先將交換網(wǎng)綜合網(wǎng)管告警數(shù)據(jù)庫中的告警導出，再人工將導出的告警數(shù)據(jù)導入交換網(wǎng)綜合網(wǎng)管告警分析系統(tǒng)數(shù)據(jù)庫的原始告警表中，這樣告警導入導出的時間又是個問題，操作頻繁會造成人力的浪費，如果一天一次又有可能造成告警發(fā)現(xiàn)延后不能體現(xiàn)告警分析系統(tǒng)的作用，而且人工操作難免出現(xiàn)人為誤操作問題。這時我們利用一款數(shù)據(jù)庫管理工具kettle（kettle是一款開源的etl工具）。  etl是extraction-transformation-loading的縮寫，中文名稱為數(shù)據(jù)提取、轉換和加載。etl包含了三方面，首先是“抽取”將數(shù)據(jù)從各種原始的業(yè)務系統(tǒng)中讀取出來，這是所有工作的前提。其次“轉換”按照預先設計好的規(guī)則將抽取得數(shù)據(jù)進行轉換，使本來異構的數(shù)據(jù)格式能統(tǒng)一起來。最后“裝載”將轉換完的數(shù)據(jù)按計劃增量或全部導入到數(shù)據(jù)倉庫中。它允許你管理來自不同數(shù)據(jù)庫的數(shù)據(jù)，通過提供一個圖形化的用戶環(huán)境來描述你想做什么，而不是你想怎么做。kettle中有兩種腳本文件，transformation和job，transformation完成針對數(shù)據(jù)的基礎轉換，job則完成整個工作流的控制，我們就是利用這款工具軟件將交換網(wǎng)綜合網(wǎng)管告警數(shù)據(jù)庫中的告警數(shù)據(jù)自動抽取、轉換最后傳送到交換網(wǎng)綜合網(wǎng)管告警分析系統(tǒng)數(shù)據(jù)庫中。  5 告警分析  解決了數(shù)據(jù)庫建立及數(shù)據(jù)采集等問題，下一步我們利用sql語言來實現(xiàn)對原始告警數(shù)據(jù)的篩選工作。交換網(wǎng)綜合網(wǎng)管告警分析系統(tǒng)所需要的所有數(shù)據(jù)表全部建立，而且數(shù)據(jù)采集問題也得到了解決，接下來的工作就是怎樣利用這些數(shù)據(jù)表之間的關系，采用什么手段來實現(xiàn)告警分析工作。告警分析我們要做的就是從上萬的原始告警中找到那些造成業(yè)務中斷或可能會嚴重影響交換網(wǎng)絡的告警，找到告警后，根據(jù)告警邏輯分類中告警的位置找到告警的模塊或用戶單元的名稱，以便于我們直觀的找出是哪些地方中斷了，能夠及時處理。為了達到我們告警分析的要求，我們需要用到sql語句中的聯(lián)合查詢等語法。  通過sql語句可以對原始告警進行進一步的分析處理，例如一個模塊局一天中斷50次，就會產(chǎn)生50條中告警，如果這種多次中斷的告警很多，對我們的告警分析也會造成一些麻煩，利用sql語句可以將這50條告警合并成一條告警，只記錄該告警的最早發(fā)生時間、最后回復時間、每次告警產(chǎn)生后到恢復總的經(jīng)歷時長以及告警發(fā)生的總次數(shù)，通過這樣處理使告警更加直觀，便于告警的發(fā)現(xiàn)和處理。  交換網(wǎng)綜合網(wǎng)管告警分析主要部分篩選sql語句如下：  select l.ne_name as 局名,min(start_time) as 最早發(fā)生時間,max(end_time) as 最后恢復時間,sec_to_time(sum(time_to_sec(lishi))) as 總歷時, count(*) as 發(fā)生次數(shù),b.rackname as `模塊(機架)名`,b.boards as `模塊(單板)號`, b.boardtypename as 單板類型, l.miaoshu as 描述from alarm_list l,zxj10 b  where b.ne_name = l.ne_name  and b.boards = substring_index(substring_index(miaoshu,’alarminfo=位置:’ ,- 1),’(‘,1)and (miaoshu like ‘alarminfo=%列%’ and miaoshu not like ‘%pcm%’)  and start_time>date_sub(now(),interval a hour)  group by 1,6,7,8,9 order by 1,7,8,2,3。  6 小結  通過利用數(shù)據(jù)庫來實現(xiàn)交換綜合網(wǎng)管告警分析工作，不僅對原始告警數(shù)據(jù)進行了有效保存，對以后的分析工作提供了數(shù)據(jù)保障，而且主要提高工作效率的目的也很好的得以實現(xiàn)，同時該系統(tǒng)有很好的可維護性，對以后交換網(wǎng)綜合網(wǎng)管告警分析系統(tǒng)的改進提供了擴展空間。通過本文可以看出在工作中合理利用數(shù)據(jù)庫，可以提高我們的工作效率，尤其是數(shù)據(jù)量很大的分析工作。  參考文獻：  [1]姜承堯.《mysql技術內幕》.機械工業(yè)出版社.2012-4-1.  [2]周峰，張振東，張術強.《sql結構化查詢語言速學寶典》.中國鐵道出版社.2012-1-1.  [3]龔小勇等.《關系數(shù)據(jù)庫與sql server2005》.機械工業(yè)出版社.2012-1-1.