當(dāng)前位置:工程項目OA系統(tǒng) > 泛普各地 > 河北O(jiān)A系統(tǒng) > 石家莊OA系統(tǒng) > 石家莊OA快博
數(shù)據(jù)中心基礎(chǔ)設(shè)施建設(shè)分析
木桶原理告訴我們,木桶盛水的多少取決于長度最短的木板。建筑裝修、供配電、制冷、集中監(jiān)控、消防、布線等系統(tǒng)共同組成了數(shù)據(jù)中心基礎(chǔ)設(shè)施的“木桶”,這一木桶的盛水能力(整體生命周期的高可用性)并不決定于哪一部分多么出色,而取決于哪一部分做的最差。
苦盡甘來 用戶的苦與甜
元·王實甫《西廂記》:“忘餐廢寢舒心害,若不是真心耐,志誠捱,怎能勾這相思苦盡甘來。”苦盡甘來是指艱難的日子過完,美好的日子來到了。在越來越受到關(guān)注的數(shù)據(jù)中心基礎(chǔ)設(shè)施建設(shè)中,希望廣大用戶同樣能享受到“苦盡甘來”的美好。
暑期將至,在去年酷暑時期發(fā)生的多起因溫度過高導(dǎo)致的服務(wù)器等關(guān)鍵設(shè)備中斷的慘痛仍歷歷在目:新浪任你郵發(fā)出預(yù)警,由于北京地區(qū)持續(xù)高溫,網(wǎng)通機房的溫度已經(jīng)達到……;北京網(wǎng)通ADSL設(shè)備出現(xiàn)的大規(guī)模故障;重慶電信服務(wù)器突然“癱瘓”;所有這些都是熱量惹的禍,也由此引發(fā)了數(shù)據(jù)中心機房建設(shè)的大討論。在以往的機房建設(shè)中普遍忽略了對隔熱、通風(fēng)的設(shè)計,也浪費了大量電力。
兩年前,記者到中國石油集團東方地球物理公司研究院參觀,機房中排列著非常多的裝載著服務(wù)器和磁盤陣列的機柜,提供電力保護的UPS也同樣顯眼。這里并沒有發(fā)生過溫度過高而帶來的宕機,但當(dāng)記者和該院副總工程師賴能和交流機房中散熱問題時,正是在國外的先進機房中采用了機柜“面對面、背靠背”的擺放方式代替了“隊列式”的擺放方式,這樣可以對散熱有非常大的好處。賴總非常認可這一“改良”。但對于已經(jīng)建好的機房,由“隊列式”改變成“面對面、背靠背”并不容易,涉及到布線、地板等一些基礎(chǔ)設(shè)施的改變,況且讓服務(wù)器等設(shè)備全部停下來也不是件容易的事。可喜的是,目前這一“改良”已經(jīng)在很多新建的機房中得到了采用。
再來看看布線,布線作為最底層的網(wǎng)絡(luò)傳輸平臺,同樣具有著超長的生命周期,選型適當(dāng)超前并沒有錯,正如故宮博物院資料信息中心主任胡錘所說,“如果當(dāng)初我們的資金更富裕,在布線時更超前一些,后來的網(wǎng)絡(luò)升級可以省去很多麻煩。”
上面幾個實例的數(shù)據(jù)中心機房建設(shè)都是幾年以前完成的,那時侯用戶對數(shù)據(jù)中心基礎(chǔ)設(shè)施的認識還有些缺乏,相應(yīng)的技術(shù)、產(chǎn)品以及理念也一定程度上限制了用戶的思維,不過在最近建設(shè)的很多數(shù)據(jù)中心中,用戶已經(jīng)品嘗到對基礎(chǔ)設(shè)施重視的甘甜。
平頂山煤業(yè)集團剛剛進行完數(shù)據(jù)中心的建設(shè),集團計算機通訊中心張長松主任對基礎(chǔ)設(shè)施的認識比較超前,“數(shù)據(jù)中心的建設(shè)是一個先導(dǎo)性的項目,只有這個項目先期完成,才有可靠的基礎(chǔ)物理環(huán)境,所有網(wǎng)絡(luò)、計算、存儲設(shè)備才有良好的安裝和運行條件?!币虼嗽摂?shù)據(jù)中心選擇了英飛集成系統(tǒng),包括機房輸入配電柜、40K N+1模塊化電源、22套機柜、2臺精密空調(diào)和英飛管理器,形成了一個整體機房的構(gòu)架。這是記者見到的比較出色的機房,不但全部采用了模塊化設(shè)備,為后期的擴容打好了基礎(chǔ),而且將制冷和管理放在了同樣重要的位置。
當(dāng)然,平頂山煤業(yè)集團在資金上對基礎(chǔ)設(shè)施的建設(shè)提供了保證。對于很多用戶來說,捉襟見肘的項目資金無力挖深機房的“地基”,湖南工程學(xué)院網(wǎng)絡(luò)中心主任廖毅就面臨這樣的問題,但廖毅把這一問題處理得很好。記者在湖南工程學(xué)院機房參觀時,明顯感覺到這是一個重視基礎(chǔ)設(shè)施、在超前理念指導(dǎo)下建立的機房。為了保證機房潔凈度、溫度等的要求,新機房在規(guī)格上有了新的提高,如精密空調(diào)的管道已經(jīng)做好了,由于資金不足,還沒有上馬;布線系統(tǒng)選擇了SYSTIMAX的6類產(chǎn)品,以滿足對語音和視頻等的傳輸。這也在為投資保護、延長生命周期方面發(fā)揮著作用?!凹词乖谖磥恚绻枰偕壷畷r,機房本身是不落伍的,將核心交換機推向邊緣就好了。”廖毅表示。
取長補短 用戶的理想做法
《孟子·滕文公上》:“今滕絕長補短,將五十里也,猶可以為善國?!?取長補短泛指在同類事物中吸取這個的長處來彌補那個的短處。在數(shù)據(jù)中心基礎(chǔ)設(shè)施的供配電、空調(diào)新風(fēng)、集中監(jiān)控、消防、布線等眾多方面,用戶最理想的做法是盡量把“短”的方面補“長”,而不應(yīng)該一味地對“長”的方面再加“長”。
中國計算機用戶協(xié)會機房設(shè)備應(yīng)用分會副理事長沈衛(wèi)東講,用戶給機房設(shè)施“隨需應(yīng)變”的要求,對機房的規(guī)劃、設(shè)計、設(shè)備選型、運行維護等四個環(huán)節(jié)及電源、空氣調(diào)節(jié)、防雷、機柜、監(jiān)控等多個子系統(tǒng)提出了挑戰(zhàn)。
從目前看來,對于很多用戶來講,制冷和空氣調(diào)節(jié)的“木板”有點短,文章前面提到的服務(wù)器宕機也因此所致。據(jù)相關(guān)數(shù)據(jù)顯示,我國有近33%的機房曾因為空調(diào)制冷問題出現(xiàn)過宕機現(xiàn)象。除了因制冷系統(tǒng)問題影響數(shù)據(jù)中心整體可用性外,耗電量大的問題也一直困擾著人們。在機房中,除了必不可少的IT負載,空調(diào)制冷設(shè)備的耗電量位列次席。
“傳統(tǒng)的制冷系統(tǒng)是基于二三十年來陳舊的制冷科技而設(shè)計的,它們僅考慮到空調(diào)主機本身的制冷能力,而不考慮機柜內(nèi)部IT設(shè)備的制冷需求,常常會出現(xiàn)機房的室溫很低,但某些機柜內(nèi)卻超過了IT設(shè)備正常工作的溫度。即使在整個機房內(nèi),這種制冷解決方案也沒有考慮到冷熱氣流通道的問題,使得冷熱氣流混合無序,大大降低了制冷效率。而制冷效率降低除了可能降低系統(tǒng)可用性外,還可能導(dǎo)致運行成本大幅增加?!鄙蛐l(wèi)東講。
42U的機柜通常所裝載的設(shè)備為什么只占據(jù)10~20個U?這是機柜的散熱能力以及配電能力有限所致。我們具體分析一下原因。
機柜內(nèi)的設(shè)備需要溫度、濕度適宜,并且風(fēng)量充足的冷風(fēng)(冷空氣)。這些冷風(fēng)被機柜內(nèi)的IT設(shè)備吸入,從而為設(shè)備內(nèi)的部件尤其是CPU降溫。當(dāng)機柜內(nèi)設(shè)備增加到一定數(shù)量時,由地板出風(fēng)口送出的冷風(fēng)的風(fēng)量將不能滿足所有設(shè)備的需求,從而形成部分IT設(shè)備配風(fēng)不足而過熱。解決機柜內(nèi)設(shè)備密度擴展時遇到的這種局部熱點問題可以采用調(diào)配IT設(shè)備位置的方式來解決。例如,把熱負荷最大的設(shè)備安裝在機柜中部位置,以便獲得最大的配風(fēng)風(fēng)量。另外,在機柜的上部或下部位置安裝軸向水平的強排風(fēng)扇,增強上部或下部的吸入能力(即減小IT設(shè)備的入口靜壓),從而增加配風(fēng)風(fēng)量。值得注意的是,早期機柜的頂部通常都安裝有垂直軸向的、向上排風(fēng)的強排風(fēng)扇,但這種風(fēng)扇對目前的標準IT機柜沒有任何作用,因為現(xiàn)在所有的機架式IT設(shè)備均為前進風(fēng)、后排風(fēng)。
合理的布置機柜對于確保機柜擁有適當(dāng)溫度和足夠的空氣非常重要。采取“面對面、背靠背”的機柜擺放方式,這樣在兩排機柜的正面面對通道中間布置冷風(fēng)出口,形成一個“冷通道”的冷空氣區(qū),冷空氣流經(jīng)設(shè)備后形成的熱空氣,排放到兩排機柜背面中的“熱通道”中,通過熱通道上方布置的回風(fēng)口回到空調(diào)系統(tǒng),使整個機房氣流、能量流流動通暢,提高了機房精密空調(diào)的利用率,進一步提高制冷效果。
目前,一些廠商也對此非常關(guān)注,并推出了相關(guān)方案。APC公司市場推廣總監(jiān)楊曉怡介紹,APC新推出一系列與InfraStruXure(英飛集成系統(tǒng))兼容的模塊制冷解決方案,包括InfraStruXure InRow RC(英飛 InRow 機柜制冷單元)、InfraStruXure Cooling Distribution Unit(CDU,英飛制冷分配單元)和Rack Air Containment System(RACS,圍欄式機柜氣流解決方案)。這些新的制冷產(chǎn)品是可擴展的、可升級的、模塊化的,能夠提供具有可預(yù)測性的準確效果。與傳統(tǒng)的制冷方式相比,可提供可靠的、可預(yù)測的、足夠的制冷能力。這些制冷產(chǎn)品是APC整體數(shù)據(jù)中心解決方案的組成部分,其安裝非常簡便。通過減少數(shù)據(jù)中心規(guī)劃和建立的時間,可以為用戶帶來更多的效益。
艾默生網(wǎng)絡(luò)能源有限公司信息機房設(shè)計總工朱利偉認為,該公司提供的動力機房一體化整體解決方案中包括機房氣候調(diào)節(jié)解決方案部分,以解決機房設(shè)備對于制冷的需求。DataMate 3000系列空調(diào)是小型機房專用空調(diào)產(chǎn)品,包括7KW和12KW兩種制冷量、并具有多種配置供選擇; DataMate迷你型電信專用精密空調(diào),具有完整的溫濕度控制功能,是專為保障在通信機房及計算機房中使用的精密電子設(shè)備而設(shè)計的,制冷量范圍從4.9KW~8.6KW;模塊化精密空調(diào)系統(tǒng)Challenger M+系列,模塊制冷量范圍寬,從20KW~100KW,適用范圍廣;Deluxe System豪華系統(tǒng)精密空調(diào)專為精密電子設(shè)備提供全方位的環(huán)境控制。
科士達最近推出了一體化柜式機房正是整體機房理念的產(chǎn)物,在標準機柜內(nèi),整合了動力輸入、智能配電、環(huán)境監(jiān)控、溫度調(diào)節(jié)、布線管理等功能在內(nèi)的一體化方案。
步線行針 用戶別忽略布線
元·康進之《李逵負荊》二折:“哪怕你指天畫地能瞞鬼,步線行針待哄誰?”步線行針比喻周密布置。用戶在進行數(shù)據(jù)中心布線時,同樣要進行周密考慮,理想的方式是加上管理功能。
數(shù)據(jù)中心的電纜分為兩大類:一類是動力電纜,比如為每個設(shè)備提供的供電電纜;另外一類為信號電纜。朱利偉表示,“對于動力電纜,要求對每個電纜的來向、去向進行詳細而準確的標記,貼上標簽等。信號電纜包括服務(wù)器的外設(shè)電纜、網(wǎng)絡(luò)電纜以及光纖等。通過KVM或者遠程控制系統(tǒng)可大大節(jié)省外設(shè)電纜。網(wǎng)絡(luò)電纜或光纖要求標示清晰,捆扎整齊。此外在數(shù)據(jù)中心建設(shè)的時候,必須規(guī)劃好足夠使用的信息點,避免后期不斷修改、不斷增加電纜導(dǎo)致的混亂。”
機柜內(nèi)的設(shè)備需要供電以及與機柜外部進行通信。當(dāng)機柜內(nèi)的IT設(shè)備數(shù)量增加時,這些線纜、連接端子同時成倍增加,如果要增加電源排插的數(shù)量,則需要考慮是否該留有空間、在配電柜上是否應(yīng)留有接線位置。機柜內(nèi)的布線空間也是需要提前考慮的,因為當(dāng)機柜內(nèi)的功率密度提高時,設(shè)備后部的線纜將明顯增加風(fēng)阻,所以必須考慮線纜管理及走線空間的問題。
哈爾濱商業(yè)大學(xué)進行了擴建,機房也重新進行了建設(shè)。該大學(xué)圖書館副館長孫明先生介紹,“他們采用了InfraStruXure英飛系統(tǒng),采取上走線方式,所有的連接線全部從機柜的頂端穿過。這樣一來,在移動設(shè)備或維修時就不用像原來那樣要翻開地板尋找各種連接線,減少了服務(wù)器、交換機等關(guān)鍵負載和UPS之間的故障點,提高了整個電力系統(tǒng)的可用性?!?/P>
SYSTIMAX中國區(qū)技術(shù)總監(jiān)許向紅表示,SYSTIMAX iPatch實時網(wǎng)絡(luò)基礎(chǔ)設(shè)施管理系統(tǒng),為數(shù)據(jù)中心提供了銅纜和光纜連接交互式的實時控制。結(jié)果是網(wǎng)絡(luò)管理的響應(yīng)時間更快、安全性更好。系統(tǒng)提供了自動的路由管理,幫助技術(shù)人員正確完成工作指令并提供服務(wù)。
西蒙中國技術(shù)經(jīng)理陳宇通認為,機房日常管理工作量最大的是線路維護和跳線管理,隨著時間的累積,不正確的文檔記錄完全不能體現(xiàn)機房內(nèi)線路的實際情況,等同虛設(shè)。西蒙公司最新推出的智能管理布線系統(tǒng)MapIT,在西蒙高端布線系統(tǒng)上融合了傳感技術(shù)和以太網(wǎng)技術(shù),將布線系統(tǒng)及其連接設(shè)備互動起來,以實現(xiàn)自動發(fā)現(xiàn)及實時監(jiān)控網(wǎng)絡(luò)端口連接。
泰科電子公司高級技術(shù)主管許楠則從另一個角度對問題進行了闡述。用戶通常需要在有限的空間內(nèi)最大限度地提高網(wǎng)絡(luò)容量。泰科電子公司推出了銅纜MRJ21高密度的布線系統(tǒng)產(chǎn)品,以及光纖MPO高密度布線系統(tǒng)產(chǎn)品,同時與智能布線管理系統(tǒng)AMPTRAC相結(jié)合,滿足了數(shù)據(jù)中心和存儲區(qū)域網(wǎng)絡(luò)的特殊要求。
舍近求遠 用戶遠程管理于指尖
《后漢書·臧宮傳》:“舍近謀遠者,勞而無功;舍遠謀近者,逸而有終?!?舍近求遠是指舍去近處的,追求遠處的。對于數(shù)據(jù)中心來講,我們還真需要一種舍近求遠的做法,在遠程管理于指尖。
當(dāng)今網(wǎng)絡(luò)時代,如何提高競爭力,如何加強數(shù)據(jù)中心的建設(shè)和管理已迫在眉睫。面對機房不斷擴容、遷址、改建、新建的變化,越來越多的用戶已經(jīng)不愿再被動應(yīng)對。有什么辦法能讓用戶在不斷成長的數(shù)據(jù)中心面前游刃有余呢?
哈爾濱商業(yè)大學(xué)圖書館副館長孫明先生講: “中心機房放置的網(wǎng)絡(luò)設(shè)備和服務(wù)器采用機架式安裝。一般按每個機柜安裝5個服務(wù)器配置,服務(wù)器采購時配備機架導(dǎo)軌,同時為每個機柜配置顯示器、鍵盤、顯示器隔板、鍵盤抽屜和8口顯示器鍵盤共享器?!毕到y(tǒng)中各種功能模塊、控制模塊都可以通過內(nèi)部的LAN進行監(jiān)控,管理員可以在遠程監(jiān)控中心的監(jiān)控PC上查看整個UPS系統(tǒng)內(nèi)部各個模塊和配電單元的狀態(tài),并可隨時處理系統(tǒng)出現(xiàn)的問題和故障。對遠程管理,孫先生深有體會,“我們圖書館在江北的新校區(qū),而機房管理人員都住在江南,距離很遠,正是遠程管理功能幫了忙,因為管理員可以在遠程通過Web方式實時監(jiān)控設(shè)備的狀態(tài),在家里也能進行管理操作?!?/P>
美國Avocent公司中國戰(zhàn)略合作伙伴總監(jiān)張婷女士表示: “用戶對整體系統(tǒng)的每個子項都需要一種管理工具,界面、賬號、密碼都不盡相同,但用戶需要的是一個整合的統(tǒng)一管理平臺?!盇vocent新一代數(shù)據(jù)中心管理方案,通過“Over IP”遠程集中式服務(wù)器管理、串口設(shè)備管理、電源設(shè)備管理、環(huán)境監(jiān)控等,將機房所有IT資源全部整合到統(tǒng)一的系統(tǒng)架構(gòu)中,并通過強大的統(tǒng)一管理界面,高效集中管理任何地點、任何分散的機房IT設(shè)施。
Raritan中國區(qū)技術(shù)經(jīng)理周里功認為,Raritan的“無人機房”解決方案能實現(xiàn)管理者在任何時間、任何地點都可以集中管理機房的設(shè)備。該方案可以管理的設(shè)備有:跨平臺的各種服務(wù)器、交換機、路由器、UPS等基于串口控制的設(shè)備,對設(shè)備的管理可以做到遠程的電源開關(guān)機管理和BIOS一級的管理和維護。
相關(guān)鏈接一
·實例分析·
為了提高網(wǎng)絡(luò)運行性能,吉林鐵通決定對既有信息網(wǎng)絡(luò)系統(tǒng)進行重新梳理,在吉林鐵通現(xiàn)有的中心機房內(nèi),供配電、精密空調(diào)、防雷和環(huán)境監(jiān)控等設(shè)備已經(jīng)完成了一體化組合設(shè)計,無須進行重新整合,而供電系統(tǒng)和布線工程則是此次改造的“重頭戲”。
在通信大樓中,數(shù)量眾多的IT設(shè)備分布在不同的樓層。通信大樓中心機房原來用的都是小容量的逆變電源,供電系統(tǒng)已經(jīng)不能滿足網(wǎng)絡(luò)通信運營。因此,采用大功率UPS系統(tǒng)成為吉林鐵通所考慮的問題。此外,在選擇UPS時考慮的另一個問題是,改變原來的分布式電源管理方式,通信大樓1樓中心機房的UPS系統(tǒng)將為1樓到6樓的所有IT通信設(shè)備和業(yè)務(wù)系統(tǒng)提供電力保障,因此從1樓到6樓都必須重新設(shè)計走線??迫A三進三出并聯(lián)型FR-UK/B33100(100KVA)工頻機UPS系統(tǒng)應(yīng)用于省級通信大樓的中心機房,為1樓到6樓的所有IT通信設(shè)備和業(yè)務(wù)系統(tǒng)提供電力保障,形成UPS、布線、網(wǎng)絡(luò)監(jiān)控等一體化整體解決方案。
從分布式管理向集中式管理轉(zhuǎn)變不是一件容易的事,首先要解決通信樓龐雜的布線。如果在原來的布線基礎(chǔ)上直接增加線路,只會讓管理更加困難,而且對于系統(tǒng)維護及日后擴容都將是一項浩大的工程,要從根本上解決問題只有重新設(shè)計走線。方案實施時,對1樓到6樓全部線路進行調(diào)整,并重新配置交流配電柜,每層樓的交流輸入、輸出線走單獨的線槽,從而為集中管理打下基礎(chǔ)。方案還配置了KELONG UNMS-1網(wǎng)絡(luò)智能管理系統(tǒng),通過UPS的RS-232、RS-485通信接口和外配軟件,可以方便地實現(xiàn)UPS的近程和遠程的智能監(jiān)控。
相關(guān)鏈接二
編看編想
留有余地
數(shù)據(jù)中心機房可以簡單認為由兩個層面組成——IT層面和機房設(shè)施層面。從目前國內(nèi)的情況看,機房設(shè)施的建設(shè)有“一步到位”的方式與“逐步升級”的方式,對于很多用戶來講,更愿意選擇后者。這就牽扯到擴容問題,所以要為將來的擴容“留有余地”。
在規(guī)劃環(huán)節(jié),首先需要在機房選址問題上考慮擴展性的要求,包括對面積、樓層位置、樓層凈高、地面載荷等方面的要求。如果決定采用單一房間,顯然要考慮未來擴容時的IT設(shè)備及機房設(shè)備的面積需求。擴容時如要占用其他房間,這就需要同時對欲占用的房間進行同樣的結(jié)構(gòu)評估。
沈衛(wèi)東介紹說,空調(diào)室外機與機房的垂直距離不宜超過15米,所以機房的選址樓層多選在距離樓頂、底層或設(shè)備層較近的樓層,并預(yù)留足夠的空間,以備未來機房空調(diào)系統(tǒng)擴容時安裝空調(diào)室外機。如果未來擴容時希望增大機房內(nèi)的設(shè)備密度,則必須考慮未來的設(shè)備重量與機房地板的承重力。
對于一般規(guī)模機房來講,可以不考慮擴容對電力變壓器的要求,但是需要考慮機房供電線路的容量問題。由于供電線路的擴容改造工程比較復(fù)雜,所以建議在機房初建時,應(yīng)預(yù)留能夠滿足未來機房設(shè)備擴容需求的容量,其中應(yīng)特別注意空調(diào)機等設(shè)備的負荷問題。(cnw)
- 1協(xié)同辦公系統(tǒng)升級與領(lǐng)導(dǎo)決策系統(tǒng)建設(shè)必要性分析
- 2如何加強外包安全策略
- 3上廣電信息化的國企特色
- 4通用汽車的生存本能
- 5怎樣挖掘供應(yīng)鏈協(xié)同網(wǎng)絡(luò)的潛能
- 6如何讓中小企業(yè)選到更合腳的ERP
- 7寶島眼鏡信息化怎么做
- 8以信息化發(fā)展推動我國電子政務(wù)建設(shè)
- 9CIO:IT規(guī)劃不必緊盯企業(yè)發(fā)展策略
- 10信息安全成中小企業(yè)的阿喀琉斯之踵
- 11ERP實際收益與期望收益間的差距
- 12統(tǒng)一信息系統(tǒng)將會大行其道
- 13中小企業(yè)忽略的管理秩序
- 14MES四大市場需求各異
- 15集團OA軟件在信息化建設(shè)上成功地跨上了一個新臺階
- 16怎樣實現(xiàn)容量管理與ITIL的結(jié)合
- 17筆記本電腦旅途中上網(wǎng)全攻略
- 18如何構(gòu)建分支機構(gòu)基礎(chǔ)設(shè)施
- 19如何衡量項目成功
- 20企業(yè)選型為ERP帶來的反思
- 21自學(xué)SAP三道坎
- 22企業(yè)“防傻”指南
- 23小企業(yè)網(wǎng)上交流平臺怎么架
- 24中小型企業(yè)網(wǎng)絡(luò)安全現(xiàn)狀剖析
- 25建立并執(zhí)行可接受的使用政策
- 26企業(yè)怎么選監(jiān)控軟件
- 27協(xié)同辦公OA系統(tǒng)的投資估算及風(fēng)險評估
- 28中小企業(yè)常見的信息安全威脅
- 29如何在企業(yè)內(nèi)部進行權(quán)限的配發(fā)和管理?
- 30信息化讓雅芳更美麗
成都公司:成都市成華區(qū)建設(shè)南路160號1層9號
重慶公司:重慶市江北區(qū)紅旗河溝華創(chuàng)商務(wù)大廈18樓