依托云計算,挖據(jù)大數(shù)據(jù)背后的價值

申請免費試用、咨詢電話：400-8352-114

　　云計算是信息技術(shù)發(fā)展和信息社會需求到達(dá)一定階段的必然結(jié)果。云計算技術(shù)的創(chuàng)新帶動了新的商業(yè)模式的成功，對現(xiàn)有電子信息產(chǎn)業(yè)及應(yīng)用模式產(chǎn)生了巨大的震動，有著深遠(yuǎn)的影響.iDC預(yù)測，未來3年全球云計算領(lǐng)域?qū)⒂?000億美元的新業(yè)務(wù)收入。整個“十二五”期間，我國云計算領(lǐng)域的產(chǎn)業(yè)規(guī)模預(yù)計可達(dá)7500~10000億元人民幣。目前，全球各大IT廠商正競相進(jìn)入云計算領(lǐng)域，以占據(jù)新一代信息技術(shù)的制高點。

　　云計算需避免兩大誤區(qū)

　　在政府和業(yè)界的雙重推動下，云計算已經(jīng)變得炙手可熱，成為新興產(chǎn)業(yè)中最熱門的領(lǐng)域。這說明云計算已經(jīng)從“不知所云”到深入人心，同時也存在隱憂和困擾。其中的問題主要體現(xiàn)在兩個方面：

　　一方面是對于“云泡沫”的擔(dān)憂。據(jù)有關(guān)調(diào)查，很多地方投巨資建成了所謂的“云”系統(tǒng)，但資源利用率卻不足20%，云計算中心成了形象工程，甚至成了變相的商業(yè)地產(chǎn)項目。云計算本身是一種綠色計算，不是比規(guī)模、比設(shè)備、比廠房，發(fā)展云計算不能變成簡單的圈錢圈地，而要盡可能避免重復(fù)建設(shè)和資源浪費，將云計算產(chǎn)業(yè)落到實處，讓消費者受益于云計算。因此，云計算的創(chuàng)新應(yīng)用，是云計算產(chǎn)業(yè)健康發(fā)展的試金石。

　　另一方面是云計算被作為萬能包裝過度渲染，仿佛什么都可以云化，在互聯(lián)網(wǎng)上什么都是云計算，以至于消費者和投資者常常困擾于對真“云”和假“云”的辨別。云計算的本質(zhì)特征是什么？首先，云計算是一種基于互聯(lián)網(wǎng)、大眾參與的計算模式，云計算的基本應(yīng)用場景應(yīng)該直接面向互聯(lián)網(wǎng)，所需要的資源不在客戶端而是來自網(wǎng)絡(luò)，即通過網(wǎng)絡(luò)提供企業(yè)和個人所需要的計算力、存儲空間、軟件功能和信息服務(wù)等;其次，云計算的服務(wù)一定具有較高的可伸縮能力，云計算的服務(wù)資源能夠隨著應(yīng)用需求自動地動態(tài)調(diào)整，既能夠在幾分鐘甚至數(shù)秒之內(nèi)，自動地增加服務(wù)資源的數(shù)量、提升服務(wù)能力來應(yīng)對網(wǎng)絡(luò)的尖峰流量，又能隨著應(yīng)用的減少，動態(tài)減少服務(wù)資源。

　　云計算支撐大數(shù)據(jù)發(fā)展

　　大數(shù)據(jù)(Big Data)這個概念近年來在越來越多的場合被越來越多的人提及，并且經(jīng)常是和云計算聯(lián)系在一起。大數(shù)據(jù)無疑將給人類社會帶來巨大的價值，科研機(jī)構(gòu)可以通過大數(shù)據(jù)業(yè)務(wù)協(xié)助進(jìn)行研究探索，如環(huán)境、資源、能源、氣象、航天、生命等領(lǐng)域的探索。那么云計算和大數(shù)據(jù)之間到底是什么關(guān)系呢？概括而言，沒有互聯(lián)網(wǎng)就沒有云計算模式，沒有云計算模式就沒有大數(shù)據(jù)處理技術(shù)。

　　然而，云計算環(huán)境同樣對大數(shù)據(jù)處理技術(shù)提出了新的挑戰(zhàn)，這主要反映在傳統(tǒng)的關(guān)系數(shù)據(jù)庫不能滿足大數(shù)據(jù)處理的要求，比如海量用戶的高并發(fā)讀寫、海量數(shù)據(jù)的高效存儲和訪問、系統(tǒng)的高可用性和高擴(kuò)展性等。為此，業(yè)界一些廠商先后研發(fā)了一批包含分布式數(shù)據(jù)緩存、分布式文件系統(tǒng)、非關(guān)系型數(shù)據(jù)庫和新關(guān)系型數(shù)據(jù)庫等新技術(shù)來解決上述問題。

　　同樣，由于海量數(shù)據(jù)的大數(shù)據(jù)量和分布性的特點，使得傳統(tǒng)的數(shù)據(jù)處理技術(shù)不適合于處理海量數(shù)據(jù)。這對海量數(shù)據(jù)的分布式并行處理技術(shù)提出了新的挑戰(zhàn)，開始出現(xiàn)以MapReduce為代表的一系列新處理技術(shù)，像數(shù)據(jù)并行處理技術(shù)、增量處理技術(shù)、流式計算技術(shù)等。

　　云計算時代會有更多的數(shù)據(jù)存儲于計算中心。數(shù)據(jù)是資產(chǎn)，云是數(shù)據(jù)資產(chǎn)保管的場所和訪問的渠道。大數(shù)據(jù)的處理和分析必須依靠云計算提供計算環(huán)境和能力，挖掘出適合于特定場景和主題的有效數(shù)據(jù)集。比如，《紐約時報》用云計算轉(zhuǎn)換了1851年到1922年超過40萬張掃描的圖片，通過把任務(wù)分配給幾百臺電腦，這項工作在36個小時內(nèi)就完成了;信用卡公司Visa計算兩年的紀(jì)錄，包括730億筆交易、高達(dá)36TB的數(shù)據(jù)，處理時間用傳統(tǒng)方法需要1個月，而采用基于Hadoop的處理技術(shù)只要13分鐘。

　　挖掘數(shù)據(jù)背后的價值

　　在互聯(lián)網(wǎng)時代，特別是進(jìn)入移動互聯(lián)網(wǎng)時代后，人們只有通過數(shù)據(jù)挖掘才能從海量的低價值密度的數(shù)據(jù)中發(fā)現(xiàn)其潛在價值。移動互聯(lián)網(wǎng)時代的大數(shù)據(jù)挖掘，主要是網(wǎng)絡(luò)環(huán)境下的非結(jié)構(gòu)化數(shù)據(jù)挖掘，這些數(shù)據(jù)形態(tài)反映是鮮活的、碎片化的、異構(gòu)的原生態(tài)數(shù)據(jù)。這種非結(jié)構(gòu)化數(shù)據(jù)有什么特點呢？它常常是低價值、異構(gòu)、冗余的數(shù)據(jù)，甚至有部分?jǐn)?shù)據(jù)放在存儲器里沒再用過。與此同時，數(shù)據(jù)挖掘關(guān)注的對象也發(fā)生了很大改變，挖掘關(guān)注的首先是小眾，只有先滿足小眾挖掘的需求，才談得上滿足由更多小眾組成的大眾的需求，因此移動互聯(lián)網(wǎng)時代數(shù)據(jù)挖掘的一個重要思想，就是“由下而上”勝過“由上而下”的頂層設(shè)計，強(qiáng)調(diào)挖掘數(shù)據(jù)的真實性、及時性，要發(fā)現(xiàn)關(guān)聯(lián)、發(fā)現(xiàn)異常、發(fā)現(xiàn)趨勢，并最終發(fā)現(xiàn)價值。

　　事實上，互聯(lián)網(wǎng)上交互的大眾，不僅在享受服務(wù)，也在提供信息。公眾的在線行為已經(jīng)不能僅僅用瀏覽、搜索或挖掘來表征，正在演化為迅速地創(chuàng)造內(nèi)容，涌現(xiàn)出群體智能。小眾的局部積聚特性又可以形成較大范圍的“大眾”特性，小眾成為大眾的基礎(chǔ)。對公眾、大眾和小眾的認(rèn)識為我們認(rèn)知人類在不同尺度上的所謂微觀、中觀或者宏觀的群體行為，為認(rèn)知群體中的競爭與協(xié)作提供了機(jī)會。因此人們在進(jìn)行數(shù)據(jù)挖掘的過程中要注重網(wǎng)絡(luò)化大數(shù)據(jù)挖掘的方法，也即社區(qū)與社區(qū)發(fā)現(xiàn)。例如，無線T恤公司(Threadless)是一個在線T恤零售商兼創(chuàng)作聚落，該網(wǎng)站透過用戶設(shè)計及用戶投票選出得票最高的T恤，讓使用者能夠分享自行設(shè)計的T恤圖案的同時，也讓獲勝者得到一定的酬金.threadless已經(jīng)成為商業(yè)和社區(qū)模式雙贏的典范，每周都能收到800多個新的設(shè)計方案，每天有超過1000名新注冊用戶來進(jìn)行設(shè)計和藝術(shù)方面的討論，并根據(jù)設(shè)計方案所激發(fā)的靈感提交配套的音樂和視頻。

　　今天，互聯(lián)網(wǎng)帶寬正以每6個月翻一番的速度在發(fā)展，它比每9個月翻一番的存儲發(fā)展速度和每18個月翻一番的計算發(fā)展速度都要快，帶寬的迅猛發(fā)展讓人類進(jìn)入了交互時代，而交互又帶動著計算和存儲加速前進(jìn)。

　　大數(shù)據(jù)標(biāo)志一個新時代的到來，這個時代的特征不只是追求豐富的物質(zhì)資源，也不只是無所不在的互聯(lián)網(wǎng)帶來方便的多樣化的信息服務(wù)，同時還包含區(qū)別于物質(zhì)的數(shù)據(jù)資源的價值挖掘，以及價值轉(zhuǎn)換等等。而大數(shù)據(jù)也將在云計算技術(shù)等的支撐下發(fā)掘出更多的價值

來源比特網(wǎng)

泛普軟件分享（www.isoffice.cn）