數(shù)據(jù)中心IRF2虛擬化網絡架構與應用

申請免費試用、咨詢電話：400-8352-114

網絡已經成為企業(yè)IT運行的基石，隨著IT業(yè)務的不斷發(fā)展，企業(yè)的基礎網絡架構也不斷調整和演化，以支持上層不斷變化的應用要求。

在傳統(tǒng)數(shù)據(jù)中心網絡的性能、安全、永續(xù)基礎上，隨著企業(yè)IT應用的展開，業(yè)務類型快速增長,運行模式不斷變化，基礎網絡需要不斷變化結構、不斷擴展以適應這些變化，這給運維帶來極大壓力。傳統(tǒng)的網絡規(guī)劃設計依據(jù)高可靠思路，形成了冗余復雜的網狀網結構，如圖1所示。

企業(yè)數(shù)據(jù)中心IT基礎架構網狀網 結構化網狀網的物理拓撲在保持高可靠、故障容錯、提升性能上有著極好的優(yōu)勢，是通用設計規(guī)則。這樣一種依賴于純物理冗余拓撲的架構，在實際的運行維護中卻同時也承擔了極其繁冗的工作量。

多環(huán)的二層接入、Full Mesh的路由互聯(lián)，網絡中各種鏈路狀態(tài)變化、節(jié)點運行故障都會引起預先規(guī)劃配置狀態(tài)的變遷，帶來運維診斷的復雜性;而應用的擴容、遷移對網絡涉及更多的改造，復雜的網絡環(huán)境下甚至可能影響無關業(yè)務系統(tǒng)的正常運行。 因此，傳統(tǒng)網絡技術在支撐業(yè)務發(fā)展的同時，對運維人員提出的挑戰(zhàn)是越來越嚴峻的。

隨著上層應用不斷發(fā)展，虛擬化技術、大規(guī)模集群技術廣泛應用到企業(yè)IT中，作為底層基礎架構的網絡，也進入新一輪技術革新時期。H3C IRF2以極大簡化網絡邏輯架構、整合物理節(jié)點、支撐上層應用快速變化為目標，實現(xiàn)IT網絡運行的簡捷化，改變了傳統(tǒng)網絡規(guī)劃與設計的繁冗規(guī)則。

1. 數(shù)據(jù)中心的應用架構與服務器網絡

對于上層應用系統(tǒng)而言，當前主流的業(yè)務架構主要基于C/S與B/S架構，從部署上，展現(xiàn)為多層架構的方式，如圖2所示，常見應用兩層、三層、四層的部署方式都有，依賴于服務器處理能力、業(yè)務要求和性能、擴展性等多種因素。

多層應用架構

基礎網絡的構建是為上層應用服務，因此，針對應用系統(tǒng)的不同要求，數(shù)據(jù)中心服務器區(qū)的網絡架構提供了多種適應結構，圖3展示了四種H3C提供的常用網絡拓撲結構：

多種數(shù)據(jù)中心ServerFarm結構

根據(jù)H3C的數(shù)據(jù)中心架構理解和產品組合能力，可提供獨立的網絡、安全、優(yōu)化設備組網，也可以提供基于框式交換平臺集成安全、優(yōu)化的網絡架構。ServerFarm 1和2是一種扁平化架構，多層應用服務器(WEB、App、DB)群共用同一網關，適用于一般規(guī)模服務器群，可擴展性有一定限制，網關層控制策略比較復雜;ServerFarm 3和4是一種展開式架構，與應用的多層訪問架構保持了一致性，具有更清晰的數(shù)據(jù)流路徑，更強的業(yè)務擴展能力和良好的策略控制能力。

2. 數(shù)據(jù)中心ServerFarm 交換網絡IRF2虛擬化設計方案

對于傳統(tǒng)的數(shù)據(jù)中心服務器區(qū)交換網絡(如圖4所示)，針對無環(huán)設計和有環(huán)設計有多種選擇方案。

傳統(tǒng)的多種服務器區(qū)接入網絡拓撲

在數(shù)據(jù)中心更為通用的是采用環(huán)路接入拓撲模式，以生成樹協(xié)議(MSTP)配合第一跳網關冗余協(xié)議(VRRP)提供服務器接入的可靠性。同時，服務器以多網卡連接網絡以進一步提供冗余能力。圖5為常用的三種接入設計方法，雖然這幾種方式已經成為數(shù)據(jù)中心接入設計的最佳實踐，但從網絡的拓撲設計、環(huán)路規(guī)避、冗余備份等角度考慮，設計過程是極其復雜的。如VLAN的規(guī)劃、生成樹實例的拓撲阻塞、網關冗余選擇，包括相應技術的參數(shù)選擇、配置，故障切換的預期判斷等，需要一套十分詳細的流程，而在后期網絡運行維護過程中面臨的壓力和復雜度是顯而易見的。

生成樹+VRRP的設計方式

引入虛擬化設計方式之后，在不改變傳統(tǒng)設計的網絡物理拓撲、保證現(xiàn)有布線方式的前提下，以IRF2的技術實現(xiàn)網絡各層的橫向整合，即將交換網絡每一層的兩臺、多臺物理設備使用IRF2技術形成一個統(tǒng)一的交換架構，減少了邏輯的設備數(shù)量，如圖6所示

IRF2對網絡橫向虛擬化整合過程

在虛擬化整合過程中，被整合設備的互聯(lián)電纜成為IRF2的內部互聯(lián)電纜，對IRF2系統(tǒng)外部就不可見了.原來兩臺設備之間的捆綁互聯(lián)端口歸屬的VLAN三層接口網段均能被其它設備可達(如ping通)，而歸屬到IRF2系統(tǒng)內部后，不對互聯(lián)電纜接口進行IP配置，因此隔離于IRF2外部網絡。

虛擬化整合后的IRF2系統(tǒng)，對外表現(xiàn)為單臺物理設備，因此，在保持基本網絡互聯(lián)條件下(如圖6左圖所示)，可將一對IRF2系統(tǒng)之間的多條線纜進行鏈路捆綁聚合動作(如圖6中圖所示)，從而將不同網絡層之間的網狀互聯(lián)簡化成單條邏輯鏈路(如圖6右圖所示)。

以IRF2組網后，整個網絡的配置管理情況發(fā)生了很大變化。原來的多臺物理設備組成為一臺邏輯設備，所有IRF2成員可以統(tǒng)一管理配置。因為只有一個管理IP，所以不需要登陸到不同設備各自管理運維，可以直接對所有端口、VLAN等特性進行配置，如圖7所示。

IRF2組網的網絡配置管理方式

對于接入層設備來說，以Top of Rack接入為例：一般使用兩臺接入交換機對同類業(yè)務系統(tǒng)服務器進行接入，以滿足服務器雙網卡的上行要求。使用IRF2進行網絡簡化時，對網絡匯聚層或服務器網關層的虛擬化整合是必要的，因為這是消除生成樹和VRRP的關鍵網絡層。對接入層網絡來說，有如圖8所示的兩種選擇：

接入層不同的IRF2應對方式

第一種，保持原有網絡拓撲和設備獨立性不變，如圖8方式A，通過IRF2將匯聚網關層虛擬化，Top of Rack交換機雙歸屬上聯(lián)的兩條鏈路直接進行捆綁，消除了環(huán)路，服務器網卡歸屬到獨立的兩臺交換機。

第二種，在Top of Rack兩臺交換機之間增加IRF2互聯(lián)線纜，使得接入層也實現(xiàn)虛擬化整合，如圖8方式B，服務器雙網卡連接的兩臺交換機虛擬化成一臺，這兩臺交換機的所有上聯(lián)線纜可實現(xiàn)跨設備的捆綁，進一步減少邏輯鏈路數(shù)。方式B還可實現(xiàn)更多的接入層設備整合，網絡物理設備與邏輯節(jié)點的整合比可大大超過2:1。

對于服務器而言，上行到IRF2系統(tǒng)的所有網卡如同接入一臺交換機，可滿足各種工作模式，特別是服務器的雙網卡捆綁方式，如圖9所示。除了支持網卡主備模式，對于網卡需要捆綁(LACP功能)的業(yè)務要求，由于IRF2本身可支持跨設備的鏈路聚合，因此服務器多網卡上行到一個IRF2系統(tǒng)的不同交換機均可實現(xiàn)捆綁，實現(xiàn)網卡吞吐帶寬增強和提升可靠性。

基于IRF2的服務器多網卡適配

服務器雙網卡接入網絡有多種模式：網卡的主備、網卡雙活。雙網卡主備方式下，服務器兩個網卡分別接入IRF2的不同交換機成員，實際等同于接在同一臺交換機下，因此網卡鏈路狀態(tài)發(fā)生變化時，IRF2系統(tǒng)能夠立刻感知，網卡業(yè)務切換后，對交換機IRF2系統(tǒng)只是表現(xiàn)為網卡地址遷移到同一臺交換機的不同物理端口。由于IRF2交換系統(tǒng)對上層網絡隔離了地址端口遷移(對上層設備來說，服務器地址總是在與接入層IRF2的上行鏈路對應的網絡接口下，并沒有漂移)，表項變化只在接入層設備處理，因此網絡能夠快速適應網卡流量切換。網卡雙活模式下，兩塊網卡可以工作在聚合捆綁方式，則可將雙網卡分別連接IRF2的不同交換機成員接入端口，并可以基于IRF2將不同交換機上的端口進行聚合捆綁，由于雙網卡具有相同的Mac和IP地址，而IRF2將不同交換機端口聚合捆綁后，聚合組內不同端口下不會存在地址漂移，網卡地址在IRF2上只被作為分布式設備的虛擬聚合鏈路下的一個地址，優(yōu)化了雙網卡組網方式。

在實施數(shù)據(jù)中心IRF2架構中，VLAN和IP的設計變得十分簡單，在網絡各層互聯(lián)上使用鏈路捆綁方式在多條物理鏈路上虛擬出了一個聚合層，也就是捆綁后的邏輯鏈路，因此聚合組替代了原來的物理端口成為VLAN設計的考慮因素，因為聚合/捆綁后的交換機端口群(可能分布在IRF2不同的成員上)被視為單個邏輯端口使用。

由于網絡采用IRF2設計中，已經消除了環(huán)路，在不考慮生成樹協(xié)議條件下，VLAN的設計在滿足業(yè)務連通性上已經十分簡單。

基于IRF2的VLAN、IP設計

如圖10所示，在接入層配置了A-H共8個接入VLAN，用于數(shù)據(jù)中心8類服務器接入，分屬到兩個業(yè)務網關層。核心層與網關層(匯聚層)均采用IRF2實現(xiàn)每層兩臺設備的虛擬化整合，接入層分別采用兩種方式：左邊模塊Top of Rack接入不進行IRF2虛擬化;右邊模塊采用IRF2虛擬化橫向整合。

對于VLAN A，服務器上聯(lián)到兩臺Top of Rack交換機，每臺交換機雙上行捆綁到網關，邏輯上形成了一個倒V的拓撲，VLAN A在網關的IRF2系統(tǒng)上只需配置一個IP地址10.1.1.1/24。

對于VLAN H，由于右邊模塊下的Top of Rack交換機以IRF2形式接入服務器，服務器的雙網卡所在的兩個端口只表現(xiàn)為一臺交換機同一VLAN H的兩個端口，上行只有一個邏輯鏈路，因此VLAN H簡單地通過此鏈路終結在匯聚層網關上，只需配置一個IP地址10.2.4.1/24. 核心層與匯聚層之間的連接也簡化為只通過一個VLAN進行三層互聯(lián)了，將本來full mesh全連接的網狀網變成了簡單的單邏輯鏈路連接。

IRF2網絡架構對路由設計的簡化

圖11左圖的網絡結構中，三層互聯(lián)鏈路成網狀，所需網段多，且一般一條物理鏈路對應一個互聯(lián)網段，在運行動態(tài)路由、使能接入環(huán)路生成樹條件下，任意物理鏈路的故障(Up/Down)都會引起網絡路由的振蕩、VRRP狀態(tài)變化或生成樹的重新計算，同時可能引起應用系統(tǒng)業(yè)務流的中斷(在協(xié)議計算收斂條件下的業(yè)務恢復時間可達到數(shù)秒甚至分鐘級)。

而圖11右圖采用IRF2的網絡結構，網絡節(jié)點之間以多鏈路捆綁組模式互聯(lián)(普通方式下為1～4條物理鏈路)，捆綁組中任意一條物理鏈路發(fā)生故障(引起Up/Down)，由于整個捆綁組在邏輯上仍然有效，接口狀態(tài)正常，整個網絡拓撲沒有變化，因此不會引發(fā)上層路由協(xié)議重計算，極大保持了網絡穩(wěn)定運行。同時基于IRF2的網絡架構所需互聯(lián)IP大量減少，減少了網絡可管理的IP對象，也消除了潛在隱患。此結構中，動態(tài)路由設計面對的網絡區(qū)域，也因架構橫向整合而使得動態(tài)路由區(qū)域可能變成了簡單的鏈狀，參與路由計算的節(jié)點大量減少，設計上更簡單和易穩(wěn)定。

面向server farm多層應用架構的IRF2組網

對于數(shù)據(jù)中心應用的多層架構，按圖5的組網模式，采用IRF2技術進行改良。如圖12所示，端到端的IRF2設計可以將大規(guī)模數(shù)據(jù)中心網狀網變成線性/樹狀輻射網，在網絡每一層具有靈活擴展能力、簡單配置管理方式，提升網絡的運行管理效率。 對于數(shù)據(jù)中心已有核心，擴建業(yè)務模塊的網絡設計，可在匯聚/網關層以下的網絡層次使用IRF2技術進行構建。

在現(xiàn)有數(shù)據(jù)中心采用IRF2架構擴建新業(yè)務模塊

如圖13左圖，新建業(yè)務模塊的網絡連接與已有業(yè)務模塊區(qū)可采用相同連接拓撲，新建業(yè)務模塊通過IRF2消除本模塊內的環(huán)路設計，網關/匯聚節(jié)點創(chuàng)建兩個接口分別與核心兩臺設備連接，如圖15右圖，出入此新建業(yè)務模塊的訪問流量可通過兩條(或多條)等價路由實現(xiàn)連通。

3. 如何通過IRF2網絡構建適應VMotion的虛擬化應用

VMware的VMotion是當前服務器虛擬化技術的熱點內容，主要好處是解決了業(yè)務在運行過程中的動態(tài)遷移問題，使得應用可以根據(jù)計算容量需求動態(tài)調整計算資源。

VMoiton過程示意

如圖14所示，在VMotion過程中，選擇好目的物理服務器后，啟動遷移流程，VMWare虛擬系統(tǒng)將處于工作運行中的虛擬機(VM)的實時狀態(tài)，包括內存、寄存器狀態(tài)等信息同步拷貝到目的VM，并激活目的VM從而完成遷移。

VMotion過程對于網絡設計本無特殊要求，但遷移的范圍要求網絡二層連通，即源VM與目的VM在同一VLAN內，這就要求VM虛擬化應用所在的網絡是一個二層網絡。如圖15所示，VMotion的網絡中存在三種VLAN：管理VLAN如VLAN 10，遷移VMotion VLAN如VLAN 20，VM業(yè)務VLAN如VLAN 105/106。

VMotion的二層VLAN類型

傳統(tǒng)MSTP的二層設計在小范圍網絡環(huán)境也基本滿足VMotion的應用要求，但是隨著VM 二層域規(guī)模的不斷擴大，有些企業(yè)甚至要建數(shù)據(jù)中心范圍內的二層網絡，如果采用MSTP+VRRP構建數(shù)據(jù)中心網絡，不論是前期規(guī)劃還是建成后的運營都會極其復雜。

基于IRF2的大規(guī)模VMotion網絡架構

圖16提供了端到端全面構建VMotion網絡的方案。由于IRF2消除了環(huán)路和冗余網關協(xié)議帶來的問題，整個網絡可搭建一個大范圍的二層互聯(lián)平臺，在此平臺上合理部署相應的管理VLAN、VMotion VLAN和VM業(yè)務VLAN即可滿足虛擬化業(yè)務需求。

在虛擬化環(huán)境中遇到的另一個問題是安全策略問題，有外部流量訪問VM的安全策略，也有VM之間的安全策略。對此存在不同的部署意見，有的認為安全策略需要部署到服務器內部的vSwitch上，有的建議由安全設備如防火墻集中執(zhí)行。

安全策略部署在服務器內的vsSwitch上，便于做到控制精細，并且在VM的遷移過程中，相應的控制策略也能跟隨虛擬化系統(tǒng)軟件的遷移功能隨著VM到達相應的vSwitch。但根據(jù)思博倫測試專家的觀點，策略在vSwitch上部署過多對于vSwitch性能有一定影響。同時，對大二層網絡，策略過于分散，不利于運行維護。并且在當前企業(yè)數(shù)據(jù)中心運維架構中，服務器虛擬化帶來的Switch管理歸屬成為問題。(是網絡運營部門?還是應用運營部門?) 另一種集中式的控制策略部署在網絡設備上。對IRF2構建的網絡，如果對外部訪問VM的流量進行策略控制，則可在所有VM的網關層設置入方向的ACL控制策略，如圖16所示，控制集中、便于策略維護。