應(yīng)對(duì)超大訪問(wèn)流量統(tǒng)計(jì)

申請(qǐng)免費(fèi)試用、咨詢(xún)電話(huà)：400-8352-114

應(yīng)用背景

新華網(wǎng)在世界網(wǎng)站的排名中名列我們國(guó)家新聞網(wǎng)站首位，網(wǎng)站的點(diǎn)擊率非常高，訪問(wèn)流量很大。為了獲取網(wǎng)站的信息流量和使用情況，以及用戶(hù)訪問(wèn)網(wǎng)站的相關(guān)信息，實(shí)現(xiàn)對(duì)各類(lèi)業(yè)務(wù)信息流數(shù)據(jù)的統(tǒng)計(jì)分析，傳統(tǒng)的解決方法是由分析系統(tǒng)提取網(wǎng)站中所有服務(wù)器上的LOG日志文件，對(duì)LOG日志文件中所記錄的服務(wù)器訪問(wèn)記錄進(jìn)行統(tǒng)計(jì)分析，最終得出整個(gè)網(wǎng)站的訪問(wèn)量的統(tǒng)計(jì)分析結(jié)果。

目前，新華網(wǎng)的服務(wù)器數(shù)量已達(dá)數(shù)十臺(tái)之多，如果使用這種方法來(lái)實(shí)現(xiàn)對(duì)整個(gè)網(wǎng)站的訪問(wèn)情況的統(tǒng)計(jì)分析，則分析系統(tǒng)必須分別訪問(wèn)并提取各個(gè)服務(wù)器的LOG文件，這樣就會(huì)給服務(wù)器以及整個(gè)網(wǎng)絡(luò)造成正常運(yùn)行之外的額外系統(tǒng)開(kāi)銷(xiāo)。假設(shè)每個(gè)服務(wù)器的LOG日志文件為10-100M字節(jié)量級(jí)，那么，數(shù)十臺(tái)服務(wù)器的LOG日志文件就是幾千兆字節(jié)，甚至幾十千兆字節(jié)，分析系統(tǒng)在提取這些日志文件時(shí)，一方面要加重服務(wù)器的訪問(wèn)開(kāi)銷(xiāo)，另一方面還要加重網(wǎng)絡(luò)交換機(jī)的負(fù)擔(dān)，損耗整個(gè)網(wǎng)絡(luò)的性能。另外，使用服務(wù)器LOG日志文件進(jìn)行統(tǒng)計(jì)分析還不利于實(shí)時(shí)統(tǒng)計(jì)分析，因此，通常的解決方案不適合這種大型網(wǎng)絡(luò)的訪問(wèn)流量的分析統(tǒng)計(jì)需求。

基于上述應(yīng)用背景和分析，我們提出了一種全新的技術(shù)思路來(lái)實(shí)現(xiàn)新華網(wǎng)訪問(wèn)流量統(tǒng)計(jì)分析的需求，即從網(wǎng)絡(luò)上實(shí)時(shí)采集數(shù)據(jù)流，從數(shù)據(jù)流中提取網(wǎng)絡(luò)會(huì)話(huà)并處理對(duì)網(wǎng)站中各類(lèi)服務(wù)器群的訪問(wèn)請(qǐng)求與應(yīng)答信息，生成LOG項(xiàng)寫(xiě)入LOG日志文件。在實(shí)際應(yīng)用中我們選用了CAPTECH公司的網(wǎng)絡(luò)會(huì)話(huà)流采集分析系統(tǒng)NSCAS，其特點(diǎn)是針對(duì)高速網(wǎng)絡(luò)的數(shù)據(jù)采集、提取會(huì)話(huà)處理以及生成LOG日志文件。

NSCAS技術(shù)解析

NSCAS的網(wǎng)絡(luò)會(huì)話(huà)實(shí)時(shí)采集處理技術(shù)是在網(wǎng)絡(luò)線路上采用線路分向旁路監(jiān)聽(tīng)方式，高速地采集網(wǎng)絡(luò)上所有數(shù)據(jù)流，從所采集到的數(shù)據(jù)包中提取網(wǎng)絡(luò)會(huì)話(huà)，對(duì)會(huì)話(huà)按相應(yīng)的應(yīng)用協(xié)議進(jìn)行處理，生成LOG記錄項(xiàng)，按標(biāo)準(zhǔn)LOG日志文件格式進(jìn)行記錄，形成標(biāo)準(zhǔn)的LOG日志文件，這樣就可以不用訪問(wèn)服務(wù)器而獲得與服務(wù)器LOG日志文件格式相同的日志文件。

這項(xiàng)技術(shù)的優(yōu)勢(shì)在于，它不依賴(lài)于各種應(yīng)用服務(wù)器的應(yīng)用系統(tǒng)而獨(dú)立工作，不對(duì)系統(tǒng)和網(wǎng)絡(luò)的性能和負(fù)載產(chǎn)生任何影響。并且，由于日志文件的形成是可以由用戶(hù)自己定義，因此用戶(hù)可以將訪問(wèn)某一類(lèi)服務(wù)器的記錄放在同一個(gè)LOG日志文件中，這樣有利于后端統(tǒng)計(jì)分析軟件的運(yùn)行效率，提高統(tǒng)計(jì)分析系統(tǒng)的處理能力。

新華網(wǎng)的應(yīng)用效果

新華網(wǎng)采用NSCAS系統(tǒng)后，經(jīng)過(guò)一段時(shí)間的實(shí)際運(yùn)行，完全滿(mǎn)足了新華網(wǎng)針對(duì)超大訪問(wèn)流量統(tǒng)計(jì)分析的需求，同時(shí)，網(wǎng)絡(luò)自身的性能沒(méi)有受到任何影響。該方案中幾個(gè)關(guān)鍵技術(shù)點(diǎn)，如：高速數(shù)據(jù)采集的性能經(jīng)過(guò)在新華網(wǎng)中的實(shí)際測(cè)試，根據(jù)對(duì)網(wǎng)絡(luò)中實(shí)際傳輸?shù)母鞣N尺寸數(shù)據(jù)包類(lèi)型的分布統(tǒng)計(jì)，得出其采集能力在700Mbps以上；在滿(mǎn)足對(duì)本地服務(wù)器LOG日志文件的合并處理的需求的基礎(chǔ)上，還實(shí)現(xiàn)了將新華網(wǎng)的各地區(qū)分社頻道以及國(guó)外分社頻道的LOG日志文件同本地服務(wù)器一同合并處理的附加功能，同時(shí)還解決了訪問(wèn)流量的實(shí)時(shí)統(tǒng)計(jì)問(wèn)題。