監(jiān)理公司管理系統(tǒng) | 工程企業(yè)管理系統(tǒng) | OA系統(tǒng) | ERP系統(tǒng) | 造價(jià)咨詢(xún)管理系統(tǒng) | 工程設(shè)計(jì)管理系統(tǒng) | 甲方項(xiàng)目管理系統(tǒng) | 簽約案例 | 客戶(hù)案例 | 在線(xiàn)試用
X 關(guān)閉

深圳供電局?jǐn)y手戴爾打造虛擬化的數(shù)據(jù)中心

申請(qǐng)免費(fèi)試用、咨詢(xún)電話(huà):400-8352-114

摘要: 服務(wù)器本身的強(qiáng)大和穩(wěn)定并不意味著一定能夠很好地支持虛擬化軟件系統(tǒng),虛擬技術(shù)剛剛走向普及,仍在完善中的虛擬化軟件并不能確保可以穩(wěn)定流暢地運(yùn)行在所有服務(wù)器上。

客戶(hù)概況:

所屬?lài)?guó)家:中國(guó)

員工人數(shù):3000人左右

企業(yè)特征:廣東電網(wǎng)公司下屬的特大型企業(yè)

從事業(yè)務(wù):電力輸送、電力設(shè)施維護(hù)、電力業(yè)務(wù)管理

業(yè)務(wù)范圍:深圳市六個(gè)區(qū)(蛇口除外)

面臨挑戰(zhàn):

數(shù)據(jù)中心的可持續(xù)發(fā)展出現(xiàn)問(wèn)題。深圳供電局總部位于深圳市的繁華地區(qū),空間資源非常寶貴,隨著深圳供電局信息化建設(shè)的日益深入,數(shù)據(jù)中心的空間愈發(fā)緊張,已經(jīng)無(wú)法容納更多的硬件設(shè)備。除此之外,數(shù)據(jù)中心的電力系統(tǒng)和制冷系統(tǒng)的負(fù)載能力也接近極限,難以穩(wěn)定地支撐未來(lái)的信息化建設(shè)。

解決方案:

采用“戴爾虛擬化專(zhuān)用服務(wù)器+VMware虛擬軟件”解決方案,整合原有的約130臺(tái)服務(wù)器,打造面向未來(lái)的新型虛擬化數(shù)據(jù)中心。在第一階段,深圳供電局共整合了60多臺(tái)物理服務(wù)器,這些物理服務(wù)器全部被轉(zhuǎn)化為虛擬機(jī),并被部署在新引入的4臺(tái)戴爾PE R900虛擬化專(zhuān)用服務(wù)器上。此舉為深圳供電局?jǐn)?shù)據(jù)中心釋放出了大量的機(jī)房空間,極大地減輕了技術(shù)人員的維護(hù)工作量,迅速地緩解了供電系統(tǒng)和制冷系統(tǒng)的壓力,很好地解決了數(shù)據(jù)中心曾經(jīng)面臨的資源緊張難題,并且明顯提高了IT系統(tǒng)的可用性??偟膩?lái)說(shuō),新型虛擬化數(shù)據(jù)中心的建設(shè),為深圳供電局未來(lái)的信息化建設(shè)掃清了障礙,鋪平了道路。

實(shí)施效果:

提高了機(jī)房空間利用率:機(jī)房空間利用率是以往的10倍以上。

節(jié)省了電力:4臺(tái)PE R900的耗電不到原來(lái)60多臺(tái)服務(wù)器耗電的10%。

降低了維護(hù)工作量:技術(shù)人員巡檢和維護(hù)的工作量是以前的30%。

提高了系統(tǒng)可用性:實(shí)施虛擬化解決方案后,深圳供電局可以實(shí)現(xiàn)各應(yīng)用系統(tǒng)間的負(fù)載均衡和自動(dòng)遷移,系統(tǒng)可用性比以前至少提升了2倍。

數(shù)據(jù)中心的可持續(xù)發(fā)展出現(xiàn)問(wèn)題。深圳供電局總部位于深圳市的繁華地區(qū),空間資源非常寶貴,隨著深圳供電局信息化建設(shè)的日益深入,數(shù)據(jù)中心的空間愈發(fā)緊張,已經(jīng)無(wú)法容納更多的硬件設(shè)備。除此之外,數(shù)據(jù)中心的電力系統(tǒng)和制冷系統(tǒng)的負(fù)載能力也接近極限,難以穩(wěn)定地支撐未來(lái)的信息化建設(shè)。

解決方案:

采用“戴爾虛擬化專(zhuān)用服務(wù)器+VMware虛擬軟件”解決方案,整合原有的約130臺(tái)服務(wù)器,打造面向未來(lái)的新型虛擬化數(shù)據(jù)中心。在第一階段,深圳供電局共整合了60多臺(tái)物理服務(wù)器,這些物理服務(wù)器全部被轉(zhuǎn)化為虛擬機(jī),并被部署在新引入的4臺(tái)戴爾PE R900虛擬化專(zhuān)用服務(wù)器上。此舉為深圳供電局?jǐn)?shù)據(jù)中心釋放出了大量的機(jī)房空間,極大地減輕了技術(shù)人員的維護(hù)工作量,迅速地緩解了供電系統(tǒng)和制冷系統(tǒng)的壓力,很好地解決了數(shù)據(jù)中心曾經(jīng)面臨的資源緊張難題,并且明顯提高了IT系統(tǒng)的可用性??偟膩?lái)說(shuō),新型虛擬化數(shù)據(jù)中心的建設(shè),為深圳供電局未來(lái)的信息化建設(shè)掃清了障礙,鋪平了道路。

實(shí)施效果:

提高了機(jī)房空間利用率:機(jī)房空間利用率是以往的10倍以上。

節(jié)省了電力:4臺(tái)PE R900的耗電不到原來(lái)60多臺(tái)服務(wù)器耗電的10%。

降低了維護(hù)工作量:技術(shù)人員巡檢和維護(hù)的工作量是以前的30%。

提高了系統(tǒng)可用性:實(shí)施虛擬化解決方案后,深圳供電局可以實(shí)現(xiàn)各應(yīng)用系統(tǒng)間的負(fù)載均衡和自動(dòng)遷移,系統(tǒng)可用性比以前至少提升了2倍。

項(xiàng)目背景:企業(yè)在向成為國(guó)際先進(jìn)水平供電局的目標(biāo)邁進(jìn),但數(shù)據(jù)中心的資源卻日趨緊張

深圳供電局成立于1979年,是中國(guó)南方電網(wǎng)有限責(zé)任公司子公司DD廣東電網(wǎng)公司下屬的特大型企業(yè)。隨著特區(qū)的快速發(fā)展,深圳供電局也以驚人的速度不斷壯大。截至2008年,深圳電網(wǎng)的最高負(fù)荷已經(jīng)達(dá)到1096.6萬(wàn)千瓦,成為我國(guó)第四個(gè)負(fù)荷超千萬(wàn)的城市電網(wǎng)。為了更好地配合深圳經(jīng)濟(jì)的發(fā)展,深圳供電局在電網(wǎng)建設(shè)和經(jīng)營(yíng)管理等方面達(dá)到國(guó)內(nèi)一流水平后,提出了向國(guó)際先進(jìn)同行看齊的目標(biāo),并開(kāi)始向這一目標(biāo)快速邁進(jìn)。

先進(jìn)的經(jīng)營(yíng)管理離不開(kāi)高效穩(wěn)定的信息系統(tǒng),然而就在深圳供電局不斷細(xì)化管理,向著國(guó)際先進(jìn)水平供電局這一目標(biāo)邁進(jìn)的時(shí)候,其數(shù)據(jù)中心卻遇到了資源緊張的難題。深圳供電局位于深圳市的寸土寸金的繁華地區(qū),空間資源非常寶貴。隨著深圳供電局信息化建設(shè)的日益深入,數(shù)據(jù)中心開(kāi)始變得愈發(fā)“擁擠”,已經(jīng)無(wú)法容納更多的硬件設(shè)備。除此之外,數(shù)據(jù)中心的電力系統(tǒng)和制冷系統(tǒng)的負(fù)載能力也逐漸接近到了極限,很難再為未來(lái)的信息化建設(shè)提供穩(wěn)定可靠的電力支撐和制冷環(huán)境。

作為深圳供電局系統(tǒng)網(wǎng)絡(luò)部的相關(guān)負(fù)責(zé)人,對(duì)此介紹說(shuō):“經(jīng)過(guò)多年的信息化建設(shè),我們已經(jīng)陸續(xù)引入了130多臺(tái)PC服務(wù)器,用來(lái)作為省局應(yīng)用系統(tǒng)的接口,以及用來(lái)支持自身的ERP、生產(chǎn)和OA等方面的應(yīng)用。這些服務(wù)器與大量的網(wǎng)絡(luò)設(shè)備、UPS電力模塊和存儲(chǔ)設(shè)備等‘?dāng)D’在一起,基本上耗盡了分配給它們的100平米左右的空間,這使得我們很難再進(jìn)一步引入大量的服務(wù)器,支持下一步的信息化建設(shè)。并且這些服務(wù)器和其它設(shè)備一起也基本上耗盡了機(jī)房的電力資源和空調(diào)資源,除非改建或新建電力系統(tǒng)和空調(diào)系統(tǒng),否則我們下一步的信息化建設(shè)勢(shì)必還會(huì)遇到電力和制冷方面的阻礙?!?/P>

面對(duì)上述問(wèn)題,深圳供電局決定調(diào)整機(jī)房建設(shè)的思路,引進(jìn)先進(jìn)的虛擬化技術(shù),對(duì)已有的PC服務(wù)器進(jìn)行整合,以此減少機(jī)房中物理服務(wù)器的數(shù)量,釋放出寶貴的空間、電力和制冷資源。

“除了可以節(jié)省空間,減輕電力系統(tǒng)和空調(diào)系統(tǒng)的壓力外,打造虛擬化的數(shù)據(jù)中心還有望大幅降低我們技術(shù)人員的維護(hù)工作量,明顯提升應(yīng)用系統(tǒng)的可用性和可管理性。因此我們此次虛擬化數(shù)據(jù)中心的建設(shè)非常重視,把它列為內(nèi)部的一個(gè)重要科研課題,打算在取得成功后,將經(jīng)驗(yàn)推廣到下級(jí)單位。”――深圳供電局系統(tǒng)網(wǎng)絡(luò)部相關(guān)負(fù)責(zé)人

面臨挑戰(zhàn):選擇適合的服務(wù)器,為虛擬化打造一個(gè)強(qiáng)大穩(wěn)定的硬件平臺(tái)

打造虛擬化系統(tǒng)對(duì)硬件設(shè)備的要求非常高,其中的服務(wù)器必須要具備“以一當(dāng)十”的能力,要能夠部署大量的虛擬機(jī),要能支持多個(gè)應(yīng)用的同時(shí)運(yùn)行。為了確保虛擬化系統(tǒng)底層硬件設(shè)備的穩(wěn)定和高效,深圳供電局對(duì)應(yīng)用于其中的服務(wù)器提出了嚴(yán)格的要求。

第一,服務(wù)器必須性能卓越、運(yùn)行穩(wěn)定

服務(wù)器性能越強(qiáng)大,其所能支持的虛擬機(jī)就越多,系統(tǒng)整合的效率就越高。因此深圳供電局要求虛擬系統(tǒng)所使用的服務(wù)器必須具備強(qiáng)大的運(yùn)算能力,要有充足的內(nèi)存擴(kuò)展空間和杰出的I/O處理能力,要能確保在任何一個(gè)部件上都不存在性能的瓶頸,以此讓盡可能多的虛擬機(jī)部署于其上,運(yùn)行于其上;此外,深圳供電局還要求用于虛擬系統(tǒng)的服務(wù)器必須要比普通的服務(wù)器擁有更全面的可用性設(shè)計(jì),設(shè)備自身必須具備充分的冗余部件,要能夠把硬件故障的風(fēng)險(xiǎn)將到最低。因?yàn)橹С痔摂M系統(tǒng)運(yùn)行的服務(wù)器一旦出現(xiàn)問(wèn)題,就意味大量的虛擬機(jī)和它們所支持的應(yīng)用同時(shí)面臨風(fēng)險(xiǎn),這對(duì)任何一個(gè)數(shù)據(jù)中心來(lái)說(shuō)都是難以接受的。

服務(wù)器必須能夠與虛擬化軟件高度兼容

服務(wù)器本身的強(qiáng)大和穩(wěn)定并不意味著一定能夠很好地支持虛擬化軟件系統(tǒng),虛擬技術(shù)剛剛走向普及,仍在完善中的虛擬化軟件并不能確??梢苑€(wěn)定流暢地運(yùn)行在所有服務(wù)器上。基于這種考慮,深圳供電局要求虛擬系統(tǒng)所使用的服務(wù)器的生產(chǎn)廠商必須與虛擬化軟件的領(lǐng)導(dǎo)廠商有著緊密的合作,其產(chǎn)品必須與主流的虛擬化軟件進(jìn)行過(guò)大量的互操作測(cè)試,要全面通過(guò)虛擬化軟件廠商的認(rèn)證。不僅如此,即將引入的服務(wù)器最好在虛擬軟件廠商所舉辦的基準(zhǔn)測(cè)試中有突出的表現(xiàn),要優(yōu)于大多數(shù)的同類(lèi)產(chǎn)品。

服務(wù)器的提供商要有完善的服務(wù)體系和過(guò)硬的技術(shù)支持能力

此次是深圳供電局首次大規(guī)模實(shí)施虛擬化項(xiàng)目,無(wú)論前期籌劃得多么周密,在項(xiàng)目的推進(jìn)過(guò)程中都有可能遇到各種意想不到的問(wèn)題。為此深圳供電局要求服務(wù)器的提供商要有完善的服務(wù)體系和過(guò)硬的技術(shù)支持能力,要能夠在項(xiàng)目的評(píng)估、規(guī)劃、部署、調(diào)試和運(yùn)行等各個(gè)階段與深圳供電局的技術(shù)人員通力合作,及時(shí)發(fā)現(xiàn)問(wèn)題、解決問(wèn)題。此外,深圳供電局還要求在必要的時(shí)候,服務(wù)器提供商還能夠協(xié)調(diào)軟件提供商的資源,與它們的技術(shù)人員攜手幫助深圳供電局處理各種問(wèn)題,以確保深圳供電局能夠省心放心地完成項(xiàng)目的實(shí)施,用好虛擬化系統(tǒng)。

“我們對(duì)產(chǎn)品的選擇和供應(yīng)商的選擇非常重視,因?yàn)槲覀兘鉀Q的不僅是眼下的問(wèn)題,而且還涉及到數(shù)據(jù)中心的長(zhǎng)遠(yuǎn)規(guī)劃和信息化的長(zhǎng)期建設(shè)。為此我們必須選擇真正適合我們的產(chǎn)品和真正值得信賴(lài)的合作伙伴。經(jīng)過(guò)慎重的考察,我們最終選擇了戴爾。其原因除了其推薦的服務(wù)器經(jīng)過(guò)測(cè)試后能夠完全滿(mǎn)足我們的要求外,還在于我們已經(jīng)與戴爾建立了長(zhǎng)期的合作,我們已有的130多臺(tái)PC服務(wù)器基本都是戴爾的設(shè)備,在使用這些服務(wù)器的過(guò)程中,戴爾產(chǎn)品的質(zhì)量和服務(wù)能力都經(jīng)過(guò)了驗(yàn)證,時(shí)間證明,戴爾是值得信賴(lài)的?!报D―深圳供電局系統(tǒng)網(wǎng)絡(luò)部相關(guān)負(fù)責(zé)人

解決方案

硬件

? 戴爾PowerEdgeTM R900服務(wù)器

軟件

? VMware Infrastructure 3.5套件

服務(wù)

? 三年戴爾專(zhuān)業(yè)技術(shù)支持服務(wù)(包括VMware系統(tǒng)部署、電話(huà)技術(shù)支持等)

解決方案:戴爾PE R900虛擬化專(zhuān)用服務(wù)器+VMware Infrastructure 3.5套件

戴爾長(zhǎng)期關(guān)注深圳供電局的信息化建設(shè),根據(jù)深圳供電局建設(shè)虛擬化數(shù)據(jù)中心的需求,戴爾此次為深圳供電局推薦了PE R900服務(wù)器。PE R900是戴爾專(zhuān)為支持虛擬化應(yīng)用而設(shè)計(jì)的服務(wù)器,采用英特爾 Xeon? 7400 系列的6核或4核處理器,內(nèi)存和 I/O 容量是同類(lèi)產(chǎn)品的兩倍,共有32個(gè)內(nèi)存插槽和7個(gè)PCIE擴(kuò)展卡插槽,具有廣泛的可擴(kuò)展性,可以為虛擬化系統(tǒng)提供卓越的性能。深圳供電局首批引入了4臺(tái)PE R900服務(wù)器,用其運(yùn)行VMware Infrastructure 3.5虛擬化軟件套件,方案的具體內(nèi)容如下:

? 主機(jī)部分

采用4臺(tái)PE R900服務(wù)器(每臺(tái)都定制了高達(dá)128GB的內(nèi)存),在其上安裝了VMware Infrastructure 3.5虛擬化軟件套件。4臺(tái)PE R900共整合了60多臺(tái)原有的物理服務(wù)器,這些物理服務(wù)器都被轉(zhuǎn)化為虛擬機(jī),這些虛擬機(jī)都有各自的操作系統(tǒng)和應(yīng)用系統(tǒng),其操作系統(tǒng)多為windows 2003,此外還有少量的Linux操作系統(tǒng)。為了管理方便,技術(shù)人員將60多個(gè)虛擬機(jī)上的應(yīng)用共劃分為6個(gè)網(wǎng)段,分別為公共服務(wù)網(wǎng)段、內(nèi)部服務(wù)網(wǎng)段、專(zhuān)用服務(wù)網(wǎng)段、內(nèi)部專(zhuān)用網(wǎng)段、省公司接口網(wǎng)段和外聯(lián)網(wǎng)段。

? 存儲(chǔ)部分

? 采用了原有的一套DELL|EMC CX4-120光纖陣列盤(pán)柜,配備了總?cè)萘繛?T的硬盤(pán)。

? 6GB 緩存配置,4G前端光纖接口

上述4臺(tái)PE R900服務(wù)器與CX4-120光纖陣列通過(guò)光纖交換機(jī),以雙鏈路的方式組成存儲(chǔ)區(qū)域網(wǎng)絡(luò)(SAN)。

? 技術(shù)支持與服務(wù)

為了確保系統(tǒng)的穩(wěn)定運(yùn)行,深圳供電局采用了戴爾提供的專(zhuān)業(yè)技術(shù)支持服務(wù)。具體包括:7×24電話(huà)技術(shù)支持,專(zhuān)屬的客戶(hù)技術(shù)服務(wù)經(jīng)理,4小時(shí)響應(yīng)的帶備件上門(mén)服務(wù)等。

? 虛擬軟件

采用了VMware公司的VMware Infrastructure 3.5套件。具體包括Virtual Center管理工具、ESX Server3.5 產(chǎn)品、Distributed Resource Scheduler、High AvailaBIlity 和 Consolidated Backup 等。運(yùn)用以上套件,深圳供電局為虛擬化平臺(tái)上的60多個(gè)虛擬機(jī)設(shè)置了負(fù)載均衡和自動(dòng)遷移等功能。

“前后對(duì)比,如今機(jī)房空間的利用率是以往的10倍以上,也就是說(shuō)支持同樣的應(yīng)用,現(xiàn)在所需要的空間不到原來(lái)的十分之一;在電力方面,4臺(tái)PE R900的耗電也不到原來(lái)60多臺(tái)服務(wù)器耗電的10%;在系統(tǒng)維護(hù)方面,技術(shù)人員的工作量也大幅下降,估計(jì)只有以前的30%??偟目磥?lái),通過(guò)引入4臺(tái)戴爾PE R900服務(wù)器實(shí)施虛擬化項(xiàng)目,我們很好地緩解了以往資源緊張的問(wèn)題,打造出了一個(gè)綠色的機(jī)房,實(shí)現(xiàn)了數(shù)據(jù)中心的可持續(xù)發(fā)展,為下一步的信息化建設(shè)奠定了一個(gè)很好的基礎(chǔ)。”――深圳供電局系統(tǒng)網(wǎng)絡(luò)部相關(guān)負(fù)責(zé)人

實(shí)施效果:壓力驟減,發(fā)展空間更廣闊

2008年10月,以4臺(tái)PE R900為硬件平臺(tái)的虛擬化系統(tǒng)完成了60多個(gè)虛擬機(jī)的遷移,正式上線(xiàn)運(yùn)行。時(shí)至今日,虛擬化系統(tǒng)已經(jīng)運(yùn)行了將近1年的時(shí)間,整體運(yùn)行狀況非常穩(wěn)定。深圳供電局系統(tǒng)網(wǎng)絡(luò)部相關(guān)負(fù)責(zé)人對(duì)PE R900的表現(xiàn)和虛擬系統(tǒng)運(yùn)行的效果感到滿(mǎn)意,他說(shuō):“現(xiàn)在每臺(tái)PE R900上已經(jīng)運(yùn)行了10多臺(tái)虛擬機(jī),從運(yùn)行效果看,與以前使用獨(dú)立的物理服務(wù)器沒(méi)有明顯的差異,可以說(shuō)表現(xiàn)得非常穩(wěn)定和高效。考慮到PE R900的內(nèi)存容量只使用了一半,相信在對(duì)其進(jìn)行進(jìn)一步的擴(kuò)展后,戴爾PE R900完全可以支持更多的虛擬機(jī)。”

深圳供電局系統(tǒng)網(wǎng)絡(luò)部相關(guān)負(fù)責(zé)人表示,深圳供電局此次實(shí)施的虛擬化項(xiàng)目只用了4臺(tái)戴爾PE R900服務(wù)器就整合了60多臺(tái)物理服務(wù)器,是原有PC服務(wù)器總數(shù)的一半,一舉節(jié)省了大量的機(jī)房空間,釋放了可觀的電力資源和空調(diào)資源,并極大地降低了技術(shù)人員的維護(hù)工作量。他說(shuō):“前后對(duì)比,如今機(jī)房空間的利用率是以往的10倍以上,也就是說(shuō)支持同樣的應(yīng)用,現(xiàn)在所需要的空間不到原來(lái)的十分之一;在電力方面,4臺(tái)PE R900的耗電也不到原來(lái)60多臺(tái)服務(wù)器耗電的10%;在系統(tǒng)維護(hù)方面,技術(shù)人員的工作量也大幅下降,估計(jì)只有以前的30%??偟目磥?lái),通過(guò)引入4臺(tái)戴爾PE R900服務(wù)器實(shí)施虛擬化項(xiàng)目,我們很好地緩解了以往資源緊張的問(wèn)題,打造出了一個(gè)綠色的機(jī)房,實(shí)現(xiàn)了數(shù)據(jù)中心的可持續(xù)發(fā)展,為下一步的信息化建設(shè)奠定了一個(gè)很好的基礎(chǔ)。”

打造虛擬護(hù)數(shù)據(jù)中心的好處還不止于此,深圳供電局信息部系統(tǒng)運(yùn)維班負(fù)責(zé)人指出,虛擬技術(shù)支持高水平的負(fù)載均衡和自動(dòng)遷移,可以明顯提升應(yīng)用系統(tǒng)的可用性。他說(shuō):“由于虛擬化軟件非常先進(jìn),加上戴爾PE R900服務(wù)器可以與虛擬化軟件無(wú)縫配合,因此我們可以利虛擬化軟件上的先進(jìn)功能做到:一個(gè)虛擬機(jī)上的應(yīng)用負(fù)載過(guò)高,系統(tǒng)會(huì)自動(dòng)釋放資源提升其處理能力;一臺(tái)PE R900壓力過(guò)大或出現(xiàn)問(wèn)題,系統(tǒng)就可以把其上的虛擬機(jī)全部遷移到其它三臺(tái)PE R900上。粗略估算,這種負(fù)載均衡和自動(dòng)遷移可以把應(yīng)用系統(tǒng)的可用性提高2倍以上?!?/P>

談及下一步的規(guī)劃,相關(guān)負(fù)責(zé)人表示:“下一步我們將沿著這個(gè)成功的路線(xiàn)繼續(xù)走下去,除了個(gè)別服務(wù)器上有一些軟件狗不能被虛擬化外,我們將會(huì)把所有能轉(zhuǎn)化為虛擬機(jī)的物理服務(wù)器全都虛擬化,進(jìn)一步加深我們數(shù)據(jù)中心的虛擬化程度,以此提高資源的利用率,降低信息化的成本?!?/P>

發(fā)布:2007-03-05 15:36    編輯:泛普軟件 · xiaona    [打印此頁(yè)]    [關(guān)閉]
相關(guān)文章:
北京OA系統(tǒng)
聯(lián)系方式

成都公司:成都市成華區(qū)建設(shè)南路160號(hào)1層9號(hào)

重慶公司:重慶市江北區(qū)紅旗河溝華創(chuàng)商務(wù)大廈18樓

咨詢(xún):400-8352-114

加微信,免費(fèi)獲取試用系統(tǒng)

QQ在線(xiàn)咨詢(xún)

泛普北京OA快博其他應(yīng)用

北京OA軟件 北京OA新聞動(dòng)態(tài) 北京OA信息化 北京OA快博 北京OA行業(yè)資訊 北京軟件開(kāi)發(fā)公司 北京門(mén)禁系統(tǒng) 北京物業(yè)管理軟件 北京倉(cāng)庫(kù)管理軟件 北京餐飲管理軟件 北京網(wǎng)站建設(shè)公司