2006年商業(yè)IT五大黑鏡頭

不打無準(zhǔn)備之仗

對(duì)于IT項(xiàng)目負(fù)責(zé)人來說，一個(gè)全新項(xiàng)目的上線挑戰(zhàn)性極大，如果不做好全方位的準(zhǔn)備，沒有考慮周全各種潛在的風(fēng)險(xiǎn)，以及沒有將系統(tǒng)調(diào)試到最佳狀態(tài)的話，新項(xiàng)目初次上線往往會(huì)面臨非常多的麻煩。

2006年7月，第一期電子式儲(chǔ)蓄國債在全國范圍聯(lián)網(wǎng)銷售，就遇到個(gè)讓系統(tǒng)管理人員措手不及的大麻煩。由于是首次發(fā)行新型的電子式國債，而且數(shù)量有限，吸引了全國眾多的購買者，在全國各地，購買者從開售當(dāng)日一大早就排起了長隊(duì)，場(chǎng)面十分火熱。但是開售沒多久，多家銀行系統(tǒng)出現(xiàn)故障，購買者無法登錄購買電子國債，有些銀行銷售系統(tǒng)由于長時(shí)間中斷從而錯(cuò)過這短短幾個(gè)小時(shí)的銷售，更是讓苦苦等候多時(shí)的購買者空手而歸。

此次國債全國代辦網(wǎng)點(diǎn)一起通過財(cái)政部的系統(tǒng)抓數(shù)，代理銀行不受數(shù)量的限制，各地投資者先購先得，售完即止。正因?yàn)檫@樣，對(duì)各地銀行的系統(tǒng)提出了很高的要求，一旦系統(tǒng)出現(xiàn)問題，就無法滿足當(dāng)?shù)刭徺I者的需求。中國銀行、中國農(nóng)業(yè)銀行（下稱農(nóng)行）以及交通銀行（下稱交行）都出現(xiàn)了不同程度的系統(tǒng)故障，農(nóng)行系統(tǒng)中斷長達(dá)5小時(shí)，而交行一些支行不但無法辦理購買國債業(yè)務(wù)，甚至連儲(chǔ)蓄等其他業(yè)務(wù)也無法辦理了。

中央國債登記結(jié)算有限責(zé)任公司則表示，國債公司發(fā)行系統(tǒng)端一直保持正常，而且此次發(fā)售國債數(shù)量遠(yuǎn)未達(dá)到系統(tǒng)負(fù)載峰值。問題出在哪里？業(yè)內(nèi)人士認(rèn)為，目前許多銀行都在自行開發(fā)系統(tǒng)，各銀行間開發(fā)水平有差距，加上電子國債屬首次發(fā)布，又是隨機(jī)抓取機(jī)制，這其中系統(tǒng)連接的帶寬限制與短時(shí)間內(nèi)海量數(shù)據(jù)的處理對(duì)銷售系統(tǒng)來說都是極大的考驗(yàn)。如果之前不做好充足的風(fēng)險(xiǎn)壓力測(cè)試以及連接準(zhǔn)備，的確很容易出現(xiàn)問題。這次事件之后，到10月發(fā)行第二期電子國債時(shí)，中國工商銀行下屬一支行表示，第一期國債發(fā)行時(shí)系統(tǒng)不穩(wěn)定，導(dǎo)致很多客戶買不到國債，到第二期時(shí)，該支行所有窗口都可以辦理電子國債業(yè)務(wù)，分散了客戶的流量，系統(tǒng)運(yùn)行也非常順利。看來，在接受了一次教訓(xùn)之后，各大銀行也都有了經(jīng)驗(yàn)，想出各種應(yīng)對(duì)措施，努力打好有準(zhǔn)備的仗。

“有備”不一定無患

IT的集中管理往往被看作是解決信息孤島、提高運(yùn)行效率的有效手段。然而集中之后的IT系統(tǒng)“牽一發(fā)而動(dòng)全身”。因此在集中之時(shí)，還需要多留一手，不僅僅是建設(shè)備份系統(tǒng)，也要真正用好備份系統(tǒng)。典型的案例發(fā)生在2005年10月，中國民航信息網(wǎng)絡(luò)股份有限公司（下稱中航信）的主機(jī)故障導(dǎo)致全國數(shù)個(gè)機(jī)場(chǎng)航班延誤。從10月10日13點(diǎn)32分起，由于中航信離港系統(tǒng)的主機(jī)出現(xiàn)技術(shù)故障，導(dǎo)致廣州白云機(jī)場(chǎng)、深圳機(jī)場(chǎng)、北京首都機(jī)場(chǎng)等機(jī)場(chǎng)的離港航班受到影響，出現(xiàn)不同程度的延誤。事故發(fā)生后，部分機(jī)場(chǎng)啟動(dòng)了自主開發(fā)的離港備份系統(tǒng)，并且采用人工方式為旅客辦理登機(jī)手續(xù)及行李托運(yùn)手續(xù)。當(dāng)天14點(diǎn)16分，中航信離港系統(tǒng)恢復(fù)正常，但是影響直到晚上才逐漸消除。

在中國，絕大部分機(jī)場(chǎng)的離港系統(tǒng)都由中航信提供，實(shí)行數(shù)據(jù)集中管理。這種集中管理保證了全國所有機(jī)場(chǎng)的離港業(yè)務(wù)在標(biāo)準(zhǔn)以及操作規(guī)范上的統(tǒng)一，但同時(shí)如果中航信的系統(tǒng)發(fā)生了故障，則很容易波及到多個(gè)機(jī)場(chǎng)。事實(shí)上，中航信的離港系統(tǒng)發(fā)生故障并不是第一次。今年1月11日，由于中航信位于北京總部的服務(wù)器出現(xiàn)故障，就曾經(jīng)造成成都雙流機(jī)場(chǎng)離港系統(tǒng)“癱瘓”近40分鐘。這種故障是不可避免同時(shí)也是不可預(yù)料的，因此建設(shè)一個(gè)完善的備份系統(tǒng)和備份制度就顯得必不可少。

在航空這個(gè)高度依靠信息技術(shù)的行業(yè)，災(zāi)難備份系統(tǒng)的建設(shè)并不落后，在這次中航信的系統(tǒng)故障中，各地機(jī)場(chǎng)也同時(shí)啟用了備份的離港系統(tǒng)，但航班延誤的情況仍然較為嚴(yán)重。據(jù)某航空公司人士透露，此次雖然受影響的機(jī)場(chǎng)都切換了備份系統(tǒng)，但由于許多數(shù)據(jù)仍然需要與北京進(jìn)行傳送，這中間可能出現(xiàn)了很多信息錯(cuò)誤的情況，使得備份系統(tǒng)的作用沒有充分發(fā)揮。由此可見，備份系統(tǒng)不應(yīng)該是“備而不用”，不是建設(shè)了備份系統(tǒng)就能高枕無憂，圍繞備份系統(tǒng)切換的一整套流程同樣需要保證萬無一失，否則“有備”也并不一定能夠無患。

沒有外圍的技術(shù)缺陷，只有核心的管理缺失

中國銀聯(lián)股份有限公司（下稱銀聯(lián)）網(wǎng)絡(luò)癱瘓的后果遠(yuǎn)比想象中嚴(yán)重。2006年4月20日10點(diǎn)56分，銀聯(lián)網(wǎng)絡(luò)系統(tǒng)因主機(jī)原因出現(xiàn)了“大面積”的癱瘓，導(dǎo)致北京、上海、廣州、江蘇、浙江、福建等18地的銀行卡不能跨行交易，據(jù)不完全數(shù)據(jù)統(tǒng)計(jì)顯示，34萬家商戶以及六萬臺(tái)ATM機(jī)因此受到影響。近年來，由于系統(tǒng)故障而引致的銀行卡跨行交易中斷并非首次，不過僅限于小范圍地區(qū)，這次受影響的持卡人、商戶以及交易中斷時(shí)間達(dá)到銀聯(lián)成立以來之最，也是金融系統(tǒng)之最。就此，銀聯(lián)在事隔6天之后發(fā)布了極其含糊的官方說法，表示“故障原因是由于銀聯(lián)新近準(zhǔn)備上線的某外圍設(shè)備的隱性缺陷誘發(fā)了跨行交易系統(tǒng)主機(jī)的缺陷，使主機(jī)發(fā)生故障?！?/P>

但同時(shí)銀聯(lián)又強(qiáng)調(diào)，這個(gè)結(jié)論還有待相關(guān)廠商的專家進(jìn)一步確認(rèn)。11月底，《信息周刊》記者電話采訪銀聯(lián)詢問最終結(jié)果。銀聯(lián)聲稱，雖已查明故障原因，但考慮到這屬于銀聯(lián)內(nèi)部的籌劃，而且涉及的技術(shù)細(xì)節(jié)過于專業(yè)，用戶可能難以理解，因此拒絕透露“主機(jī)致命”的真正原因。

不過，知情人士透露說，原來銀聯(lián)計(jì)劃在4月25日上線一臺(tái)新設(shè)備，20日上午工作繁忙時(shí)段，正當(dāng)銀聯(lián)技術(shù)人員進(jìn)行測(cè)試的時(shí)候，系統(tǒng)主機(jī)突然出現(xiàn)宕機(jī)，導(dǎo)致整個(gè)系統(tǒng)癱瘓，全國跨行交易無法正常進(jìn)行。這一次宕機(jī)事件，反映出銀聯(lián)事前對(duì)產(chǎn)品測(cè)試中可能出現(xiàn)的問題估計(jì)不足，并沒有估計(jì)到系統(tǒng)癱瘓的面積會(huì)如此之大、情況如此嚴(yán)重，事先所準(zhǔn)備的應(yīng)急預(yù)案只不過是針對(duì)小范圍的故障的。

一次小疏忽引發(fā)了一場(chǎng)意想不到的大事故。受影響企業(yè)之一的杭州銀泰百貨公司信息部負(fù)責(zé)人金龍發(fā)指出：“如果考慮更周全一點(diǎn)，也許問題就不會(huì)發(fā)生?！标P(guān)鍵系統(tǒng)的切換幾乎都會(huì)選擇在交易量最小的時(shí)間，如夜間進(jìn)行，此時(shí)萬一出現(xiàn)事故，也可將風(fēng)險(xiǎn)降至最低。

由于銀聯(lián)系統(tǒng)癱瘓了近9個(gè)小時(shí)，時(shí)間如此之長備受質(zhì)疑。一般來說，當(dāng)主機(jī)宕機(jī)之后，另一個(gè)備份機(jī)可以接管系統(tǒng)，保證系統(tǒng)的正常運(yùn)行，從主機(jī)切換到備份機(jī)的時(shí)間不會(huì)很長。業(yè)內(nèi)人士猜測(cè)，很可能是銀聯(lián)主機(jī)宕機(jī)以后，主機(jī)冗余不足或者備份機(jī)根本沒有起作用，或者當(dāng)初應(yīng)急系統(tǒng)設(shè)計(jì)和建設(shè)不夠理想，又或者是銀聯(lián)新上的系統(tǒng)和原系統(tǒng)有沖突，導(dǎo)致整個(gè)系統(tǒng)癱瘓。

不能坐等互聯(lián)網(wǎng)強(qiáng)盜來“發(fā)現(xiàn)”你的致命弱點(diǎn)

2006年9月21日17點(diǎn)左右，作為中國三大域名服務(wù)提供商和網(wǎng)站服務(wù)提供商之一，北京新網(wǎng)數(shù)碼信息技術(shù)有限公司（下稱新網(wǎng)）的域名解析（DNS）服務(wù)器出現(xiàn)故障，其名下注冊(cè)的約有10萬左右域名不能訪問，部分DNS還被解析到不正確的主機(jī)上。

來自新網(wǎng)的數(shù)據(jù)顯示，該公司為超過60萬家企業(yè)客戶提供服務(wù)，占據(jù)了中國互聯(lián)網(wǎng)基礎(chǔ)服務(wù)業(yè)務(wù)20%以上的市場(chǎng)份額。此次災(zāi)難據(jù)不完全統(tǒng)計(jì)，造成了中國近3成網(wǎng)站從互聯(lián)網(wǎng)上消失。直到第二天中午，新網(wǎng)才恢復(fù)其80%客戶網(wǎng)站的正常訪問。

盡管新網(wǎng)進(jìn)行了積極的補(bǔ)救，而且事后新網(wǎng)也證實(shí)，DNS服務(wù)器出現(xiàn)問題是由于遭到大規(guī)模黑客攻擊，但是，新網(wǎng)顯然沒有考慮到用戶的感受，并沒有就是否賠償用戶損失做出說明及承諾。新網(wǎng)處理此事略顯粗硬的態(tài)度激怒了部分用戶，在新網(wǎng)注冊(cè)大量域名并在這次事件中被波及的中國網(wǎng)庫發(fā)表聲明，要求新網(wǎng)公開向中國網(wǎng)庫道歉，同時(shí)賠償直接和間接經(jīng)濟(jì)損失150萬元。

互聯(lián)網(wǎng)基礎(chǔ)服務(wù)商遭遇網(wǎng)絡(luò)攻擊不是什么新鮮事，因此造成的服務(wù)中斷事故也有多起。萬網(wǎng)、百度等均曾因黑客攻擊而導(dǎo)致服務(wù)中斷。此類事件中，責(zé)任認(rèn)定是最大的難題。在新網(wǎng)斷網(wǎng)事件中，新網(wǎng)自身IT系統(tǒng)是否存在漏洞或操作上的失誤，均無法為外人所知，但如果單純將責(zé)任歸咎于黑客攻擊，顯然對(duì)遭受損失的用戶有失公允。