當前位置:工程項目OA系統(tǒng) > 泛普各地 > 山東OA系統(tǒng) > 濟南OA系統(tǒng) > 濟南OA快博
提高數(shù)據(jù)中心能效的十個方法
無論你的公司已經(jīng)開始走上了以提高數(shù)據(jù)中心能效為目的的道路,還是甚至不知道對節(jié)能何處下手,本文將介紹NetApp公司用來改善數(shù)據(jù)中心基礎設施的十項方法。用戶會驚喜地發(fā)現(xiàn),這些方法不但簡單易學,還經(jīng)濟可行。
大大小小的客戶反映,能耗帶來的成本是他們擔心的一大問題。Gartner公司估計,到2008年,IT預算總額當中48%將用于能源這一項。這個比例實在高得驚人。
在2007年8月發(fā)布的報告中,美國環(huán)保署(EPA)表示形勢不容樂觀。美國環(huán)保署的估計數(shù)字顯示,要是能效方面保持目前這個趨勢,全美數(shù)據(jù)中心的能耗量到2011年幾乎要翻一番。
多年來,NetApp里面的跨部門團隊與地方電力公司之間的合作大大提高了數(shù)據(jù)中心的能效。這要歸功于公司主數(shù)據(jù)中心的改進,已經(jīng)達到了節(jié)省能效的目的,環(huán)保署稱這種節(jié)省對2011年的數(shù)據(jù)中心而言處于“先進水平”。另外,公司預計,新建的數(shù)據(jù)中心都將符合美環(huán)保署為2011年制訂的“可以達到的最高目標”,不但能提前三年實現(xiàn),而且只使用現(xiàn)有的技術。
以下是提高能效的十個方法。
測量以便控制
要是無法測量能耗情況,就無法控制,這是運營效率方面的經(jīng)典格言。為了防止能效低下,先要從基準測量開始。如果不知道電力耗用情況,就不知道要關注哪些方面。為了幫助測量能耗,可以分成以下幾大類: IT系統(tǒng)、UPS、冷卻裝置、照明系統(tǒng)等。
虛擬化及
合并IT 系統(tǒng)
美國環(huán)保署估計,數(shù)據(jù)中心的總耗電量中50%來自服務器和存儲系統(tǒng),它們自然就成了首要的節(jié)電對象。眼下的熱門趨勢就是服務器虛擬化,這種有效策略可以節(jié)省空間、電力和冷卻資源。
為了充分獲得服務器虛擬化帶來的好處,需要存儲基礎設施提供匯集的網(wǎng)絡存儲資源。與服務器虛擬化一樣,存儲虛擬化也可提高能效: 數(shù)量較少、比較龐大的存儲系統(tǒng)提供了更多的容量和更高的利用率,因而減少了空間、電力和冷卻資源。
通過實施存儲和服務器虛擬化技術,改用了更加節(jié)能的存儲模式。我們用10個最新的存儲系統(tǒng)換掉了50個較舊的存儲系統(tǒng),因而獲得了以下好處:
存儲機架的占用空間從25個機架減少到了6個機架;
電力需求從329kW減少到了69kW;
空調(diào)制冷能力方面的需求減少了94冷噸;
系統(tǒng)供電所需的成本每年減少了6萬美元。
管理數(shù)據(jù)
在進行存儲虛擬化規(guī)劃時,我們對現(xiàn)有業(yè)務數(shù)據(jù)進行了審查。結果發(fā)現(xiàn),存儲的數(shù)據(jù)有50%可以刪除。
遏制數(shù)據(jù)過度增長的首要方法就是事先阻止數(shù)據(jù)激增。企業(yè)的磁盤卷通常都含有數(shù)百萬個重復數(shù)據(jù)對象。這些對象被修改、分發(fā)、備份及歸檔時,重復數(shù)據(jù)對象也重復存儲。
在使用了幾種不同的方法之后,如重復數(shù)據(jù)刪除、克隆和自動精簡配置,它們都有助于實現(xiàn)同一目標: 減少不必要的數(shù)據(jù)。
避免系統(tǒng)冷卻
過頭的現(xiàn)象
冷卻系統(tǒng)是IT部門往往開支過多、估計錯誤的一個方面。廠商通常根據(jù)系統(tǒng)一直在峰值負荷下運行來估計功耗。要問問自己,系統(tǒng)在峰值狀態(tài)下運行的時間有多長?答案可能是幾乎沒有。那么,為什么要對系統(tǒng)進行不必要的冷卻呢?
關鍵在于算出準確的電力負荷,這可能很棘手。為了幫助得出合理的電力負荷估計值,我們首先在實驗室環(huán)境測試了設備,之后把設備部署到數(shù)據(jù)中心。通過這樣的測試,我們確定了系統(tǒng)的合理電力負荷估計值比廠商的估計值低30%到40%。知道這一點后,我們就能監(jiān)控每個機架的電力使用情況,相應調(diào)整冷卻系統(tǒng),從而減少了冷卻過頭所浪費的能源。
我們還采取更進一步的行動: 在空氣處理器上使用了變頻驅(qū)動裝置。不是讓風扇一直全速運行,變頻驅(qū)動裝置可根據(jù)每一排機架的實際設備冷卻要求來改變風扇轉速。由于風扇能不斷監(jiān)控溫度,自動調(diào)整,以便需要時加快或者減慢風扇轉速,我們大大節(jié)省了能源。實際上,風扇轉速降低50%可以把功耗降低87%。
合理設計空間布局
先講講物理知識: 熱空氣上升,冷空氣下降。這樣的規(guī)則也適用于數(shù)據(jù)中心。通過活動地板對數(shù)據(jù)中心里面鋪設的地板向上輸送冷卻空氣,這種老方法通常耗用更多能源。我們采用的是在機器正面向下輸送冷空氣。然后,冷空氣被吸到機器里面,再從后面作為熱空氣排出來。熱空氣升到天花板后,經(jīng)通風口排到外面。
不過,機架的位置極其重要,因為用戶不希望把一臺機器排出來的熱空氣被另一臺機器吸進去。我們放置的機架是前端對前端、后端對后端。這種名為“熱通道/冷通道”的方案成了數(shù)據(jù)中心設計的最佳實踐,因為它確實有效。
由于冷卻系統(tǒng)放在機架上,也不需要活動地板(通常要鋪傳輸冷水的水管及其他冷卻線纜),從而節(jié)省了另外的能源和空間。
不斷改進熱隔離
無論在什么地方使用熱通道/冷通道方案的高密度機架,都需要另外的氣流措施防止排出來的熱空氣進入到冷通道。這時,動一動腦筋就能收到成效,不需要什么高技術。
我們把上升熱空氣經(jīng)通風口排出去,同時采用了一種低成本的方法。這方法很有效,也很重要。為了隔離熱量,我們在熱通道的兩頭以及機架上的冷卻排氣系統(tǒng)使用了透明塑料掛簾,使用透明塑料長條把空氣控制在熱通道,使用同樣的長條在管道和設備周圍形成一道物理屏障。
我們估計,單單放在一個數(shù)據(jù)中心的塑料掛簾每年就可以節(jié)省100萬度電。
盡量利用自然冷卻
生成的冷空氣不一定是惟一冷卻來源。干嘛不同時借助大自然呢?我們使用室外空氣作為自由冷卻,每年可節(jié)省150萬美元的能源成本。為此,我們在大樓一側安裝了調(diào)節(jié)風門,可自動調(diào)節(jié)從室外進入的空氣。如果室外氣溫低于設定的溫度點,調(diào)節(jié)風門會開啟,室外空氣經(jīng)過濾后進入冷卻系統(tǒng)。反過來,如果室外空氣高于設定的溫度點,調(diào)節(jié)風門會關閉,冷卻裝置則開始工作。
不過,這種方法需要不斷微調(diào)及改進。在環(huán)境工程師的幫助下,正在努力提高設定的溫度點,以便更充分地利用室外空氣。最初設定的溫度點是11攝氏度,后來逐步提高到了18攝氏度。我們正在進一步提高到24攝氏度,這樣可以把自然冷卻的時間段增至全年的85%。
盡量減少
電力變換損耗
數(shù)據(jù)中心如今不是使用依賴電池的系統(tǒng),而是使用運轉時可存儲能量的動態(tài)UPS。能量來自我們的切換基礎設施,可以讓每個UPS設備的電動馬達轉動起來。
利用廢熱
電力要求和能源價格與夏季溫度攀升密切相關。在溫度和電力出現(xiàn)高峰的期間,我們以天然氣為動力的熱電聯(lián)供(cogeneration)系統(tǒng)就會投入使用,為一百萬瓦的數(shù)據(jù)中心提供經(jīng)濟的電力。通過這種方法得到了兩個好處。
首先,通過在靠近用電區(qū)域的地方發(fā)電(分布式發(fā)電),降低了電力成本,并且減少了輸電過程中損耗的電量。第二個優(yōu)點直接來自熱電聯(lián)供。熱電聯(lián)供指通過熱力學原理高效利用燃料。它利用了發(fā)電過程中形成的大量廢熱。在其中一個數(shù)據(jù)中心,利用了天然氣作為動力的發(fā)電機生成的廢熱,作為對冷卻系統(tǒng)所用水進行冷卻的吸附式冷卻裝置的動力源。我們的熱電聯(lián)供系統(tǒng)總能效達到了75%至85%,每年可節(jié)省30萬美元。
不斷監(jiān)視及調(diào)整
可以采取另一個步驟來幫助提高數(shù)據(jù)中心的能效: 準確、定期地監(jiān)控環(huán)境。大多數(shù)數(shù)據(jù)中心測量周邊的負荷,因而無法準則測量結果。為了能夠真正提高能效,有必要提高測量的準確性,即在機架層面進行測量(每個機架耗用的瓦特),而不是數(shù)據(jù)中心的某個地方開始溫度升高時,單單加快風扇的轉速。我們不斷測試及調(diào)整環(huán)境,放在中間層的多個溫度傳感器測得溫度高低平均相差10到12度。
每個數(shù)據(jù)中心各不一樣。如何決定實施節(jié)能型數(shù)據(jù)中心策略,這取決于用戶本身的具體情況。不過,本文介紹的這10個方法應當提供了幾條思路。如果不知道這些方法,建議確定數(shù)據(jù)中心的電力使用效率(PUE)值是多少。之后再設計相應的方法和改進措施,開始啟動提高數(shù)據(jù)中心能效的計劃。(清風編譯 注: 作者Laura Pickering是NetApp公司的副總裁兼環(huán)保責任倡導者。)
鏈接
一些細小的方法將有助于控制數(shù)據(jù)中心的能耗。
減少數(shù)據(jù)中心能耗的五個方法
減少數(shù)據(jù)中心的能耗數(shù)量未必很棘手,不過這確實需要全面的方案,通盤考慮IT、冷卻和電力等基礎設施。正如數(shù)據(jù)中心咨詢公司EYP Mission Critical Facilities的首席技術官Kfir Godrich所說: “如果你在考慮數(shù)據(jù)中心時不是面面俱到: 從水電輸入一直考慮到芯片,然后回過頭來考慮電力和冷卻,就達不到所定目標?!北疚慕榻B的五個方法有助于控制數(shù)據(jù)中心的能耗。
1. 注重細節(jié)
補上已移除或者已拆走設備在活動地板留下的空眼。網(wǎng)絡設備或者服務器通常放在機架上,把擋板安裝到機架上的空位。把帶孔地磚從熱通道移到冷通道。啟用服務器和計算機的節(jié)能功能??赡艿脑?,關掉數(shù)據(jù)中心的電燈。
用戶表示,這些改進有助于遏制上漲的水電費。面對費用上漲的形勢,“我們用節(jié)能型LCD換掉了舊顯示器; 啟用了PC中的所有節(jié)能技術,降低硬驅(qū)功率,使其處于睡眠模式; 我們換掉了不支持節(jié)電功能的任何打印機”。保險代理管理系統(tǒng)公司Applied Systems的IT副總裁Tim Sander如是說。
商業(yè)咨詢公司Brattle Group的IT主管Carmine Iannace表示,他采取了同樣的做法?!拔覀冊诳盏臋C架上使用擋板以引導氣流。我們移動了服務器的位置,平衡數(shù)據(jù)中心的冷卻負荷。另外,我們關注開發(fā)環(huán)境的服務器—如果它們沒有使用,就關閉電源。”Iannace還使用了臺式機和筆記本電腦的節(jié)能功能; 另外,要求員工下班后關閉計算機,節(jié)省電力。之外,只要沒有人在數(shù)據(jù)中心工作,就關掉電燈。
2. 為服務器設定合理的能源規(guī)格
要注意所購買IT設備的類型,因為據(jù)美國環(huán)保署近期的一份能效報告顯示,IT設備的能耗占到數(shù)據(jù)中心的一半。尤其要注意基于x86的行業(yè)標準服務器,它們的能耗占到了整個數(shù)據(jù)中心能耗的33%。x86服務器生產(chǎn)商Rackable Systems的營銷副總裁Colette LaForce表示,比方說,要確保系統(tǒng)供應商沒有把電源規(guī)格定得過高,或者使用不必要的高功率風扇。她建議關注電源效率至少達到90%的系統(tǒng),它們比能效較低的機型更節(jié)電、散熱更少。
Brattle公司的Iannace配置了所有服務器,以便使用208伏電源,而不是120伏,這樣服務器里面的電源提高了能效。他還把核心的思科網(wǎng)絡交換機升級到208伏電源。另外,他采用了多核服務器,并借助虛擬化技術進行了合并。他說,結果冷卻要求降低了50%。
3. 合并與虛擬化
UniSource Energy公司的網(wǎng)絡系統(tǒng)管理員Tyler Kilian也指出了合并與虛擬化帶來的優(yōu)點。他說: “我們在物理服務器方面全面遇到了制約,無論是電力還是冷卻。如今,我們的電力基礎設施借助虛擬化技術達到了80%的利用率。行業(yè)最佳實踐證明我們達到80%就是打滿分了。即使我們在過去的幾年明顯增加了服務器資源,還是能保持80%的利用率。”
4. 把直流電源放在機架背面
用直流電源重新配置數(shù)據(jù)中心需要長遠規(guī)劃。Rackable Systems公司的LaForce說: “你可以把直流電電源添加到機架上,而不是讓每個服務器都使用獨立的交流電源。直流電源裝置的功率和效率要高得多,里面的部件也少得多,因而不容易出故障。把它們放到系統(tǒng)里面,然后為機架提供直流電源,可以立即為電力成本節(jié)省10%到30%?!贝蠖鄶?shù)服務器廠商提供交流電源裝置選件。
5. 改動冷卻和電力系統(tǒng)
減少數(shù)據(jù)中心能耗的另一個方法就是重新設計冷卻系統(tǒng)。這就需要安裝帶變速風扇的冷卻裝置,讓冷卻裝置在高于正常溫度的環(huán)境下運行,并且在適當情況下使用自然冷卻。
UniSource Energy公司的Kilian說: “我們正在考慮使用更易管理的冷卻和能源基礎設施,這樣可以更有針對性地進行跟蹤,以便了解。我們把冷卻方案改成了并排式冷卻系統(tǒng),這樣就能自動適應冷卻要求。在服務器密集較低的地方,我們能夠關掉風扇,減少能耗?!?/P>
EYP的Godrich說,調(diào)整冷卻裝置以便在較高溫度下運行還能節(jié)省資金?!叭绻隳茏尷鋮s裝置在高出10%的溫度下運行,不會看到服務器出現(xiàn)任何峰值電壓?!?/P>
他還表示,IT人員應當充分利用地理環(huán)境。比方說,較寒冷的氣候環(huán)境可提供成本優(yōu)勢,因為用周圍的冷空氣或者冰塊對空調(diào)裝置進行降溫也許是可行的。
UPS存儲的能量可供電15秒到20秒,這時間足以執(zhí)行任何切換操作。較舊的電池UPS能效有85%,如今最出色的UPS其能效平均達到了約94%,而有些UPS的能效高達97.7%,損耗的能源不到電池UPS的一半。
利用廢熱
電力要求和能源價格與夏季溫度攀升密切相關。在溫度和電力出現(xiàn)高峰的期間,我們以天然氣為動力的熱電聯(lián)供(cogeneration)系統(tǒng)就會投入使用,為一百萬瓦的數(shù)據(jù)中心提供經(jīng)濟的電力。通過這種方法得到了兩個好處。
首先,通過在靠近用電區(qū)域的地方發(fā)電(分布式發(fā)電),降低了電力成本,并且減少了輸電過程中損耗的電量。第二個優(yōu)點直接來自熱電聯(lián)供。熱電聯(lián)供指通過熱力學原理高效利用燃料。它利用了發(fā)電過程中形成的大量廢熱。在其中一個數(shù)據(jù)中心,利用了天然氣作為動力的發(fā)電機生成的廢熱,作為對冷卻系統(tǒng)所用水進行冷卻的吸附式冷卻裝置的動力源。我們的熱電聯(lián)供系統(tǒng)總能效達到了75%至85%,每年可節(jié)省30萬美元。
不斷監(jiān)視及調(diào)整
可以采取另一個步驟來幫助提高數(shù)據(jù)中心的能效: 準確、定期地監(jiān)控環(huán)境。大多數(shù)數(shù)據(jù)中心測量周邊的負荷,因而無法準則測量結果。為了能夠真正提高能效,有必要提高測量的準確性,即在機架層面進行測量(每個機架耗用的瓦特),而不是數(shù)據(jù)中心的某個地方開始溫度升高時,單單加快風扇的轉速。我們不斷測試及調(diào)整環(huán)境,放在中間層的多個溫度傳感器測得溫度高低平均相差10到12度。
每個數(shù)據(jù)中心各不一樣。如何決定實施節(jié)能型數(shù)據(jù)中心策略,這取決于用戶本身的具體情況。不過,本文介紹的這10個方法應當提供了幾條思路。如果不知道這些方法,建議確定數(shù)據(jù)中心的電力使用效率(PUE)值是多少。之后再設計相應的方法和改進措施,開始啟動提高數(shù)據(jù)中心能效的計劃。(清風編譯 注: 作者Laura Pickering是NetApp公司的副總裁兼環(huán)保責任倡導者。)
鏈接
一些細小的方法將有助于控制數(shù)據(jù)中心的能耗。
減少數(shù)據(jù)中心能耗的五個方法
減少數(shù)據(jù)中心的能耗數(shù)量未必很棘手,不過這確實需要全面的方案,通盤考慮IT、冷卻和電力等基礎設施。正如數(shù)據(jù)中心咨詢公司EYP Mission Critical Facilities的首席技術官Kfir Godrich所說: “如果你在考慮數(shù)據(jù)中心時不是面面俱到: 從水電輸入一直考慮到芯片,然后回過頭來考慮電力和冷卻,就達不到所定目標?!北疚慕榻B的五個方法有助于控制數(shù)據(jù)中心的能耗。
1. 注重細節(jié)
補上已移除或者已拆走設備在活動地板留下的空眼。網(wǎng)絡設備或者服務器通常放在機架上,把擋板安裝到機架上的空位。把帶孔地磚從熱通道移到冷通道。啟用服務器和計算機的節(jié)能功能。可能的話,關掉數(shù)據(jù)中心的電燈。
用戶表示,這些改進有助于遏制上漲的水電費。面對費用上漲的形勢,“我們用節(jié)能型LCD換掉了舊顯示器; 啟用了PC中的所有節(jié)能技術,降低硬驅(qū)功率,使其處于睡眠模式; 我們換掉了不支持節(jié)電功能的任何打印機”。保險代理管理系統(tǒng)公司Applied Systems的IT副總裁Tim Sander如是說。
商業(yè)咨詢公司Brattle Group的IT主管Carmine Iannace表示,他采取了同樣的做法?!拔覀冊诳盏臋C架上使用擋板以引導氣流。我們移動了服務器的位置,平衡數(shù)據(jù)中心的冷卻負荷。另外,我們關注開發(fā)環(huán)境的服務器—如果它們沒有使用,就關閉電源?!盜annace還使用了臺式機和筆記本電腦的節(jié)能功能; 另外,要求員工下班后關閉計算機,節(jié)省電力。之外,只要沒有人在數(shù)據(jù)中心工作,就關掉電燈。
2. 為服務器設定合理的能源規(guī)格
要注意所購買IT設備的類型,因為據(jù)美國環(huán)保署近期的一份能效報告顯示,IT設備的能耗占到數(shù)據(jù)中心的一半。尤其要注意基于x86的行業(yè)標準服務器,它們的能耗占到了整個數(shù)據(jù)中心能耗的33%。x86服務器生產(chǎn)商Rackable Systems的營銷副總裁Colette LaForce表示,比方說,要確保系統(tǒng)供應商沒有把電源規(guī)格定得過高,或者使用不必要的高功率風扇。她建議關注電源效率至少達到90%的系統(tǒng),它們比能效較低的機型更節(jié)電、散熱更少。
Brattle公司的Iannace配置了所有服務器,以便使用208伏電源,而不是120伏,這樣服務器里面的電源提高了能效。他還把核心的思科網(wǎng)絡交換機升級到208伏電源。另外,他采用了多核服務器,并借助虛擬化技術進行了合并。他說,結果冷卻要求降低了50%。
3. 合并與虛擬化
UniSource Energy公司的網(wǎng)絡系統(tǒng)管理員Tyler Kilian也指出了合并與虛擬化帶來的優(yōu)點。他說: “我們在物理服務器方面全面遇到了制約,無論是電力還是冷卻。如今,我們的電力基礎設施借助虛擬化技術達到了80%的利用率。行業(yè)最佳實踐證明我們達到80%就是打滿分了。即使我們在過去的幾年明顯增加了服務器資源,還是能保持80%的利用率?!?/P>
4. 把直流電源放在機架背面
用直流電源重新配置數(shù)據(jù)中心需要長遠規(guī)劃。Rackable Systems公司的LaForce說: “你可以把直流電電源添加到機架上,而不是讓每個服務器都使用獨立的交流電源。直流電源裝置的功率和效率要高得多,里面的部件也少得多,因而不容易出故障。把它們放到系統(tǒng)里面,然后為機架提供直流電源,可以立即為電力成本節(jié)省10%到30%?!贝蠖鄶?shù)服務器廠商提供交流電源裝置選件。
5. 改動冷卻和電力系統(tǒng)
減少數(shù)據(jù)中心能耗的另一個方法就是重新設計冷卻系統(tǒng)。這就需要安裝帶變速風扇的冷卻裝置,讓冷卻裝置在高于正常溫度的環(huán)境下運行,并且在適當情況下使用自然冷卻。
UniSource Energy公司的Kilian說: “我們正在考慮使用更易管理的冷卻和能源基礎設施,這樣可以更有針對性地進行跟蹤,以便了解。我們把冷卻方案改成了并排式冷卻系統(tǒng),這樣就能自動適應冷卻要求。在服務器密集較低的地方,我們能夠關掉風扇,減少能耗?!?/P>
EYP的Godrich說,調(diào)整冷卻裝置以便在較高溫度下運行還能節(jié)省資金。“如果你能讓冷卻裝置在高出10%的溫度下運行,不會看到服務器出現(xiàn)任何峰值電壓?!?/P>
他還表示,IT人員應當充分利用地理環(huán)境。比方說,較寒冷的氣候環(huán)境可提供成本優(yōu)勢,因為用周圍的冷空氣或者冰塊對空調(diào)裝置進行降溫也許是可行的。(ccw-2008年03月10日第08期 46-47)
- 1ERP如何最大限度理清成本來源
- 2投標方五大慣用技巧
- 3流程考核還需小心行事
- 4剖析ERP項目實施中培訓的若干問題
- 5誰在做大中小企業(yè)電子商務?
- 6時至今日 關于SOA的“未解之謎”
- 7機房安全成企業(yè)選擇服務商最關鍵因素
- 8能耗大戶IT產(chǎn)業(yè)拉響紅色警報
- 9打造綠色數(shù)據(jù)中心的五大要素
- 10信息化緊扣業(yè)務流程
- 11在線管理模式對中小企業(yè)發(fā)展的影響
- 12合同協(xié)議也是托管軟件成功的關鍵
- 13ESB決定SOA部署成敗的關鍵
- 14OA辦公系統(tǒng)是什么?
- 15當CIO遇見SOA 是希望還是恐懼
- 16我的ERP軟件實施項目調(diào)研篇
- 17外貿(mào)B2B平臺新機遇 用SaaS CRM黏客戶
- 18ERP操作和使用技巧之財務管理研究
- 19中間件巨頭整合為市場帶來了什么
- 20計世獨家:從終端入手打造安全木桶
- 21信息化項目選型六問
- 22放眼當前國內(nèi)OA市場
- 23SaaS模式使OA系統(tǒng)更具拓展性和適用性
- 24企業(yè)如何正確挑選信息化軟件
- 25SaaS趨勢下 傳統(tǒng)ERP廠商何去何從
- 26濟南做OA的有哪些???
- 27IT廠商業(yè)績解讀之惠普篇:誰說硬件沒錢賺
- 28把脈中小企業(yè)“電子郵件綜合癥”
- 29濟南OA?
- 30SCM系統(tǒng)與ERP系統(tǒng)的異同比較
成都公司:成都市成華區(qū)建設南路160號1層9號
重慶公司:重慶市江北區(qū)紅旗河溝華創(chuàng)商務大廈18樓