網(wǎng)絡(luò)管理員如何解決上網(wǎng)斷斷續(xù)續(xù)故障現(xiàn)象

局域網(wǎng)網(wǎng)絡(luò)使用起來(lái)很方便，但管理起來(lái)卻不是一件容易的事情，單單用戶不同的上網(wǎng)需求，就能讓網(wǎng)絡(luò)管理員忙得不亦樂(lè)乎，更不用說(shuō)頻繁出現(xiàn)的各種網(wǎng)絡(luò)故障了。這不，上網(wǎng)斷斷續(xù)續(xù)故障現(xiàn)象十分常見(jiàn)，引起該故障的因素也是復(fù)雜、多變，該故障解決起來(lái)自然也容易多走彎路;為了幫助各位積累這方面故障的經(jīng)驗(yàn)，本文現(xiàn)在就從實(shí)戰(zhàn)角度出發(fā)，來(lái)向各位還原一則由動(dòng)態(tài)ARP檢測(cè)功能引發(fā)的上網(wǎng)斷斷續(xù)續(xù)故障的排查過(guò)程，希望下面的內(nèi)容能起到拋磚引玉的作用!

　　組網(wǎng)環(huán)境

　　某單位大樓局域網(wǎng)規(guī)模適中，位于中心機(jī)房的核心交換機(jī)采用的是H3C品牌的S8500交換機(jī)，所有客戶端系統(tǒng)通過(guò)超5類網(wǎng)絡(luò)線纜連接到分布在六個(gè)樓層中的接入交換機(jī)上，接入交換機(jī)統(tǒng)一采用2組堆疊的H3C品牌S3050交換機(jī)，這些交換機(jī)全部位于每個(gè)樓層的弱電間中，所有接入交換機(jī)全部使用千兆多模光纖與局域網(wǎng)核心交換機(jī)相連。為了抑制局域網(wǎng)中的網(wǎng)絡(luò)風(fēng)暴現(xiàn)象，網(wǎng)絡(luò)管理員特意按照工作部門(mén)的不同，將局域網(wǎng)網(wǎng)絡(luò)劃分成12個(gè)虛擬工作子網(wǎng)，各個(gè)虛擬工作子網(wǎng)的網(wǎng)關(guān)全部設(shè)置在局域網(wǎng)核心交換機(jī)上;此外，為了提高網(wǎng)絡(luò)管理效率，局域網(wǎng)中還專門(mén)架設(shè)了一臺(tái)DHCP服務(wù)器，局域網(wǎng)中的每一臺(tái)客戶端系統(tǒng)都采用動(dòng)態(tài)獲取地址方式進(jìn)行上網(wǎng)，平時(shí)局域網(wǎng)中的所有系統(tǒng)都能快速、穩(wěn)定地上網(wǎng)訪問(wèn)。

　　考慮到最近一段時(shí)間ARP病毒比較猖獗，為了保證網(wǎng)絡(luò)能夠始終運(yùn)行，網(wǎng)絡(luò)管理員在各個(gè)接入交換機(jī)中分別啟用了防ARP病毒功能。為了配合單位大樓建設(shè)視頻傳輸系統(tǒng)的要求，將位于各個(gè)樓層中辦公室內(nèi)的視頻設(shè)備劃分到同一個(gè)虛擬工作子網(wǎng)中，并調(diào)整了各個(gè)接入交換機(jī)的相關(guān)配置，例如統(tǒng)一增加了兩個(gè)虛擬工作子網(wǎng)。

　　故障現(xiàn)象

　　自從接入交換機(jī)被調(diào)整過(guò)之后，局域網(wǎng)網(wǎng)絡(luò)運(yùn)行一直就不穩(wěn)定，許多用戶紛紛打來(lái)電話反映情況，說(shuō)他們的客戶端系統(tǒng)托盤(pán)區(qū)域處經(jīng)常彈出網(wǎng)絡(luò)連接受限的提示信息，這個(gè)提示說(shuō)明客戶端系統(tǒng)普遍存在無(wú)法從局域網(wǎng)DHCP服務(wù)器那里獲得正確的上網(wǎng)參數(shù)。即使有的客戶端系統(tǒng)能夠勉強(qiáng)上網(wǎng)，網(wǎng)絡(luò)連接也是斷斷續(xù)續(xù)，使用ping命令測(cè)試線路連通性時(shí)，發(fā)現(xiàn)網(wǎng)絡(luò)傳輸延遲現(xiàn)象非常的嚴(yán)重，而且數(shù)據(jù)丟包率一直很高;由于各個(gè)樓層的所有客戶端系統(tǒng)都存在相同的故障現(xiàn)象，筆者下意識(shí)以為局域網(wǎng)的核心交換機(jī)出現(xiàn)了類似緩存溢出這樣的軟錯(cuò)誤，于是嘗試著重新啟動(dòng)了一下核心交換機(jī)后臺(tái)系統(tǒng)，發(fā)現(xiàn)故障現(xiàn)象依然存在。后來(lái)，筆者順便重新啟動(dòng)了一臺(tái)普通樓層接入交換機(jī)，發(fā)現(xiàn)對(duì)應(yīng)交換機(jī)下面的客戶端系統(tǒng)在交換機(jī)剛剛啟動(dòng)穩(wěn)定的那一刻，上網(wǎng)速度稍微有點(diǎn)正常，可是沒(méi)有多長(zhǎng)時(shí)間，相同的故障現(xiàn)象又出現(xiàn)了。

　　排查故障

　　既然重新啟動(dòng)樓層接入交換機(jī)，可以暫時(shí)讓上網(wǎng)速度恢復(fù)正常，那問(wèn)題看來(lái)與樓層接入交換機(jī)有關(guān)系。為了能夠探清究竟，筆者立即以系統(tǒng)管理員身份登錄進(jìn)入其中一個(gè)樓層的接入交換機(jī)后臺(tái)系統(tǒng)，使用“dis dia”命令對(duì)交換機(jī)的各個(gè)交換端口進(jìn)行掃描檢查，看看它們的數(shù)據(jù)流量狀態(tài)是否正常，結(jié)果果然發(fā)現(xiàn)局域網(wǎng)中有廣播數(shù)據(jù)包存在，并且該廣播數(shù)據(jù)包容量在不斷變大，難道是局域網(wǎng)網(wǎng)絡(luò)中存在有網(wǎng)絡(luò)病毒或網(wǎng)絡(luò)環(huán)路現(xiàn)象?為了排除這方面因素的干擾，筆者立即進(jìn)入流量異常的交換端口視圖模式狀態(tài)，在該狀態(tài)下執(zhí)行字符串命令“shutdown”，將數(shù)據(jù)流量不正常的交換端口全部關(guān)閉，可是這樣的努力沒(méi)有換來(lái)任何效果，顯然上網(wǎng)斷斷續(xù)續(xù)故障與網(wǎng)絡(luò)病毒或網(wǎng)絡(luò)環(huán)路沒(méi)有任何關(guān)系。

　　后來(lái)，筆者隨意找了一臺(tái)客戶端系統(tǒng)，依次單擊“開(kāi)始”/“運(yùn)行”命令，在彈出的系統(tǒng)運(yùn)行對(duì)話框中，執(zhí)行ping命令來(lái)測(cè)試對(duì)應(yīng)客戶端系統(tǒng)所在虛擬工作子網(wǎng)的網(wǎng)關(guān)地址，發(fā)現(xiàn)數(shù)據(jù)丟包率達(dá)到了驚人的85%，同時(shí)數(shù)據(jù)傳輸延遲時(shí)間平均達(dá)到500ms左右;可是，當(dāng)筆者嘗試從局域網(wǎng)的核心交換機(jī)上，使用ping命令測(cè)試Internet網(wǎng)絡(luò)中的某個(gè)站點(diǎn)時(shí)，發(fā)現(xiàn)這項(xiàng)測(cè)試操作一切正常，并且數(shù)據(jù)丟包率僅僅只有1%左右，顯然局域網(wǎng)與Internet網(wǎng)絡(luò)之間的連接是正常的，而問(wèn)題可能出現(xiàn)在核心交換機(jī)與故障客戶端系統(tǒng)之間。

　　為了能找到具體的故障原因，筆者在局域網(wǎng)的核心交換機(jī)后臺(tái)系統(tǒng)，使用ping命令測(cè)試了其中一臺(tái)接入交換機(jī)的管理IP地址，測(cè)試反饋回來(lái)的結(jié)果是無(wú)法ping通，會(huì)不會(huì)是核心交換機(jī)與樓層接入交換機(jī)之間的物理連接存在問(wèn)題呢?為了排除物理線纜因素，筆者特意找來(lái)了專業(yè)的光功率計(jì)，來(lái)測(cè)試連接核心交換機(jī)與樓層接入交換機(jī)的多模光纖線路連通性，結(jié)果發(fā)現(xiàn)光纖線路具有收發(fā)信號(hào)，看來(lái)問(wèn)題還是出在樓層接入交換機(jī)上。

　　不得已，筆者只好再次使用Console控制線纜直接連接到樓層接入交換機(jī)上，使用“display interface”命令查看該交換機(jī)與核心交換機(jī)的級(jí)聯(lián)端口狀態(tài)，發(fā)現(xiàn)級(jí)聯(lián)端口的數(shù)據(jù)流量還是特別大，同時(shí)大量的廣播數(shù)據(jù)包依然存在;為了阻止廣播數(shù)據(jù)包影響局域網(wǎng)的穩(wěn)定運(yùn)行，筆者特意在該接入交換機(jī)后臺(tái)系統(tǒng)，啟用了廣播風(fēng)暴抑制功能，然而該功能的啟用并沒(méi)有帶來(lái)任何改變。之后，筆者隨手執(zhí)行了“display cpu”字符串命令，查看了故障交換機(jī)的系統(tǒng)資源消耗情況，結(jié)果讓筆者很是吃驚，該交換機(jī)的系統(tǒng)CPU資源消耗率竟然達(dá)到了驚人的100%，而正常情況下交換機(jī)的系統(tǒng)CPU資源消耗率應(yīng)該為25%左右，這也難怪筆者無(wú)法從局域網(wǎng)的核心交換機(jī)上ping通故障樓層接入交換機(jī)。將故障樓層接入交換機(jī)與局域網(wǎng)核心交換機(jī)之間的物理連接斷開(kāi)之后，筆者再次執(zhí)行了“display cpu”字符串命令，結(jié)果看到該交換機(jī)的CPU資源消耗率迅速下降到30%左右;可是重新連接之后，故障樓層接入交換機(jī)的CPU資源消耗率很快又回到了100%，這是什么原因呢?

　　經(jīng)過(guò)仔細(xì)分析、對(duì)比，筆者認(rèn)為自從在接入交換機(jī)中啟用了防ARP病毒功能后，局域網(wǎng)中才出現(xiàn)了上網(wǎng)不穩(wěn)定的故障現(xiàn)象，會(huì)不會(huì)是這項(xiàng)功能在暗中“搗亂”呢?為了驗(yàn)證自己的猜想是否正確，筆者立即將接入交換機(jī)的動(dòng)態(tài)ARP檢測(cè)功能給關(guān)閉掉，之后又在對(duì)應(yīng)交換機(jī)后臺(tái)系統(tǒng)，使用“display cpu”命令查看了系統(tǒng)CPU資源消耗情況，果然CPU使用率立即從原先的100%下降到30%左右，對(duì)應(yīng)交換機(jī)下面的客戶端系統(tǒng)上網(wǎng)速度也恢復(fù)了正常。與此同時(shí)，另外幾臺(tái)暫時(shí)沒(méi)有關(guān)閉動(dòng)態(tài)ARP檢測(cè)功能的接入交換機(jī)，其CPU使用率仍然一直居高不下，并且這些交換機(jī)下面的客戶端系統(tǒng)上網(wǎng)速度還是斷斷續(xù)續(xù)，數(shù)據(jù)丟包現(xiàn)象仍然十分嚴(yán)重。很顯然，局域網(wǎng)中的上網(wǎng)斷斷續(xù)續(xù)故障現(xiàn)象，與動(dòng)態(tài)ARP檢測(cè)功能有關(guān)。

　　原因解密

　　上網(wǎng)搜索了動(dòng)態(tài)ARP檢測(cè)功能的工作原理，筆者發(fā)現(xiàn)該功能會(huì)自動(dòng)截取來(lái)自不信任網(wǎng)絡(luò)端口發(fā)送過(guò)來(lái)的ARP數(shù)據(jù)請(qǐng)求，同時(shí)會(huì)自動(dòng)驗(yàn)證對(duì)應(yīng)數(shù)據(jù)包的數(shù)據(jù)綁定行為是否合法，看看它的地址綁定關(guān)系與DHCP綁定表中的是否一致，如果一致的話就對(duì)ARP數(shù)據(jù)包進(jìn)行放行，要是不一致的話就對(duì)ARP數(shù)據(jù)包進(jìn)行丟棄，這項(xiàng)功能可以有效地預(yù)防中間人攻擊，也能防止局域網(wǎng)用戶自行修改網(wǎng)卡物理地址和IP地址，避免局域網(wǎng)中發(fā)生地址沖突現(xiàn)象。經(jīng)過(guò)進(jìn)一步了解，筆者發(fā)現(xiàn)該功能往往與DHCP嗅探功能配合使用，并且該功能還存在一個(gè)明顯的缺陷，那就是對(duì)ARP數(shù)據(jù)包的動(dòng)態(tài)檢測(cè)操作，需要不停消耗交換機(jī)系統(tǒng)的CPU資源，如果處理的ARP數(shù)據(jù)包流量特別大的話，那么交換機(jī)系統(tǒng)的CPU資源消耗率就會(huì)很高，嚴(yán)重時(shí)就能出現(xiàn)CPU資源被100%消耗的現(xiàn)象。

　　而DHCP嗅探功能在工作的時(shí)候，DHCP服務(wù)器會(huì)將分配出去的動(dòng)態(tài)IP地址，以及客戶端系統(tǒng)的網(wǎng)卡物理地址之間的對(duì)應(yīng)關(guān)系，自動(dòng)記錄保存到一個(gè)地址綁定表中，任何客戶端系統(tǒng)進(jìn)行網(wǎng)絡(luò)連接的時(shí)候，該功能會(huì)自動(dòng)檢查數(shù)據(jù)包的IP地址與網(wǎng)卡物理地址之間的對(duì)應(yīng)關(guān)系，看看這種對(duì)應(yīng)關(guān)系與地址綁定表中的記錄是否一致，如果一致的話就允許目標(biāo)數(shù)據(jù)包通過(guò)，否則將不允許數(shù)據(jù)包通過(guò)，這種功能可以有效地防止局域網(wǎng)其他不合法DHCP服務(wù)器的功能。

　　當(dāng)一臺(tái)交換機(jī)系統(tǒng)同時(shí)啟用了動(dòng)態(tài)ARP檢測(cè)功能和DHCP嗅探功能的時(shí)候，既能有效防范非法DHCP服務(wù)器的干擾，又能禁止上網(wǎng)用戶隨意改動(dòng)客戶端系統(tǒng)的上網(wǎng)地址以及網(wǎng)卡物理地址來(lái)偷偷上網(wǎng)，如此一來(lái)就能實(shí)現(xiàn)安全、穩(wěn)定相互兼顧的效果;但讓筆者感到非常納悶的是，這里的樓層交換機(jī)也是同時(shí)啟用了這兩項(xiàng)功能，為什么它們沒(méi)有發(fā)揮應(yīng)有的作用呢，反而只有關(guān)閉了動(dòng)態(tài)ARP檢測(cè)功能，才能解決上網(wǎng)斷斷續(xù)續(xù)故障現(xiàn)象呢?經(jīng)過(guò)與集成商的溝通、交流，筆者終于找到了問(wèn)題的答案，原來(lái)當(dāng)交換機(jī)系統(tǒng)同時(shí)啟用了上面兩項(xiàng)功能，如果每一臺(tái)交換機(jī)上都劃分有相同的虛擬工作子網(wǎng)時(shí)，那么廣播數(shù)據(jù)包就會(huì)在接入交換機(jī)之間不停地被發(fā)送或轉(zhuǎn)發(fā)，如此一來(lái)就會(huì)大量消耗交換機(jī)系統(tǒng)的CPU資源，最終會(huì)引發(fā)上網(wǎng)斷斷續(xù)續(xù)的故障現(xiàn)象。

　　故障解決

　　找到故障原因之后，筆者立即重新調(diào)整了各個(gè)樓層的接入交換機(jī)配置參數(shù)，去掉連接視頻傳輸系統(tǒng)的VLAN，并新增加了一臺(tái)新交換機(jī)，讓所有使用視頻傳輸系統(tǒng)的客戶端系統(tǒng)單獨(dú)使用新的交換機(jī)進(jìn)行上網(wǎng)，如此一來(lái)既能保證原來(lái)系統(tǒng)的上網(wǎng)穩(wěn)定，又能方便管理新的視頻傳輸系統(tǒng)。

　　總結(jié)該故障的排除過(guò)程，筆者發(fā)現(xiàn)該故障的發(fā)生純屬巧合，如果不在樓層的接入交換機(jī)中同時(shí)增加相同的VLAN，或者這些樓層的接入交換機(jī)沒(méi)有同時(shí)啟用動(dòng)態(tài)ARP檢測(cè)功能和DHCP嗅探功能的話，那么這種網(wǎng)絡(luò)掉線的故障就不會(huì)發(fā)生。而以往我們?cè)诮鉀Q網(wǎng)絡(luò)掉線問(wèn)題的時(shí)候，經(jīng)常使用的方法就是先觀察交換機(jī)設(shè)備的信號(hào)燈狀態(tài)是否正常，如果不正常的話再嘗試重新啟動(dòng)一下交換機(jī)后臺(tái)系統(tǒng)，相信多數(shù)網(wǎng)絡(luò)故障就能被自動(dòng)解決了。沒(méi)有想到，這次故障的解決費(fèi)了這么大麻煩!

【推薦閱讀】

◆網(wǎng)管軟件專區(qū) 

◆企業(yè)網(wǎng)管員如何監(jiān)控公司網(wǎng)絡(luò)健康運(yùn)行

◆網(wǎng)管員技巧：網(wǎng)絡(luò)監(jiān)控軟件的部署經(jīng)驗(yàn)

◆網(wǎng)管軟件的成長(zhǎng)之路還有多長(zhǎng)

◆IT運(yùn)維管理專區(qū)