數(shù)據(jù)挖掘漸成主流

申請免費試用、咨詢電話：400-8352-114

美國維吉尼亞州Richmond市的警察局長Rodney Monroe，將自己描述為終身制的警察，專業(yè)知識是關(guān)于和街頭犯罪做斗爭，而不是軟件上。他說，他自己的瀏覽網(wǎng)頁主要是查看高爾夫的積分。

但是在2005年他當(dāng)上局長之后不久，一個從警察局退休的犯罪分析師讓他試一試一些聰明的軟件。這些程序會檢查警察局收集到的信息，比如打給急救中心或者警察局的電話，但是加入了新的數(shù)據(jù)--比如，街區(qū)人口統(tǒng)計和發(fā)工資的日期，或者關(guān)于天氣、交通流量模式和體育賽事--來預(yù)測犯罪會在哪里發(fā)生。

"起初這挺起來很瘋狂，"Monroe回憶，"但是當(dāng)你慢慢想一想，這就越來越有道理。"

比如，這個技術(shù)指出發(fā)工資的日期在西班牙人的街區(qū)搶劫犯罪會比較多，在這些街區(qū)很少人使用銀行而且隨身攜帶現(xiàn)金的人很容易成為搶劫的對象。另外，在夜間的某些時候，在一些地區(qū)會集中發(fā)生隨意開槍的事件。額外的警力會部署在那些犯罪極可能發(fā)生的區(qū)域。

Richmond市的犯罪率在2006年下降了大約20%，并且在今年還將繼續(xù)下降。

Richmond的經(jīng)驗是正在成為主流的先進(jìn)計算和數(shù)學(xué)分析浪潮中的一部分。助長這個趨勢的還有信息的數(shù)字化，更快、更廉價的計算和在線網(wǎng)絡(luò)和數(shù)據(jù)收集的爆炸增長。

美國Cornell大學(xué)的計算機(jī)科學(xué)教授Jon Kleinberg說，結(jié)果是"測量方式上的革命"和"在將計算和算法處理引入到社會科學(xué)上邁出了一大步。"這種現(xiàn)象在經(jīng)濟(jì)學(xué)、商業(yè)和犯罪預(yù)防上是非常顯著的。

傳統(tǒng)上生產(chǎn)力研究是集中在制造，因為產(chǎn)品記件和工廠中工人的算人頭是很容易測量的，MIT Sloan管理學(xué)院教授Erik Brynjolfsson注意到。

以往，信息工作者的生產(chǎn)力--在西方社會中勞動力占很多比例--都被調(diào)整到被經(jīng)濟(jì)學(xué)家標(biāo)注為"難以測量"的一類中并且表示稍微的遺憾。

但是在數(shù)字時代，Brynjolfsson說，開啟了對專家和辦公室工人的勞動進(jìn)行詳細(xì)測量的大門，這些人處理來自于客戶、供應(yīng)商、同事和營銷人員的信息。

"我對生產(chǎn)力的認(rèn)識已經(jīng)完全改變了，"Brynjolfsson說，他還是美國國家經(jīng)濟(jì)研究局的研究人員。

通過跟蹤電子郵件流量、及時通訊消息和其他的數(shù)字通訊--從個人可識別的信息中剝離出來--他和其他研究人員開始對公司內(nèi)部社會網(wǎng)絡(luò)中流動的工作和想法進(jìn)行研究--一分鐘一分鐘、一個數(shù)據(jù)位一個數(shù)據(jù)位。

"我們真的已經(jīng)能夠用比以往更加科學(xué)的方法來理解公司內(nèi)部發(fā)生的事情。"他說。"這非常類似于17世紀(jì)顯微鏡為生物學(xué)所開創(chuàng)的道路，這樣你可以看到血液細(xì)胞?，F(xiàn)在我們開始看到信息字節(jié)在公司的器官中流動。"

利用計算和數(shù)學(xué)分析能力的想法由來已久。在1960年代和1970年代，"運籌學(xué)"(operations research)結(jié)合計算能力和數(shù)學(xué)主要是讓工廠生成更有效率。而且在那一時期，"決策支持"(decision support)軟件被用于幫助經(jīng)理更加智能的使用在大計算文件--數(shù)據(jù)庫--中的信息。

但是早期的努力主要限于信息訪問和報表系統(tǒng)，Babson學(xué)院的教授Thomas Davenport說。數(shù)據(jù)的數(shù)量和質(zhì)量通常是不夠的，他表示，并且那時的軟件并沒有像現(xiàn)在這樣做先進(jìn)的優(yōu)化以及預(yù)測運算。

更快和更廉價的計算和足夠的數(shù)字格式的信息源--從企業(yè)資源規(guī)劃系統(tǒng)、POS設(shè)備和Web站點采集--意味著大多數(shù)公司現(xiàn)在可以用工具做分析，這種分析過去只有少數(shù)的精英公司才能提供。"它現(xiàn)在開始成為主流，"和Jeanne Harris合著"Competing on Analytics: The New Science of Winning"的Davenport這么說。他說，門檻，"不再是技術(shù)，而是你有真正理解這些的高官"

的確有很多人真的懂這些。像Wal-Mart和Kohl這樣大的零售商使用先進(jìn)的計算和數(shù)學(xué)來更準(zhǔn)確的預(yù)測多大尺寸的衣服應(yīng)該送往哪些商店。Harrah和其他的賭場的吃角子老虎機(jī)導(dǎo)致優(yōu)化客戶的流量和利潤，并且他們使用臉部識別軟件鑒別有犯罪記錄的人。瑞典首都斯德哥爾摩和其他城市使用交通流量數(shù)據(jù)和模式來確定"道路交通擁堵收費。"

在金融行業(yè)，Capital One和其他的銀行挖掘各種交易數(shù)據(jù)來識別、停止欺詐交易。大型水泥公司Cemex，使用全球衛(wèi)星定位系統(tǒng)和交通流量和天氣數(shù)據(jù)來提高在墨西哥的送貨的性能。

在過去的一年中，家庭電器制造商Whirlpool開始使用新的分析軟件來自動掃描保證報告(warranty report)以及生產(chǎn)、供應(yīng)商、銷售和服務(wù)數(shù)據(jù)來嘗試進(jìn)一步修整保證成本和提高質(zhì)量。由于它一天平均銷售25000臺洗碗機(jī)，這可不是一件小任務(wù)。"人工不可能看到和檢查出所有這些趨勢，"負(fù)責(zé)全球質(zhì)量的總經(jīng)理John Kerr說。

使用新的計算工具，Whirlpool將檢查和修復(fù)會引起缺陷的部件以及生產(chǎn)問題的時間減少了30到90天。"數(shù)學(xué)真是神奇了。"Kerr說。

這就幫助解釋了為什么商業(yè)智能軟件現(xiàn)在是最火熱的市場之一，由SAS、Business Objects、Cognos、MicroStrategy和Information Builders這些公司提供產(chǎn)品。在今年三月，Oracle出價33億美元收購了Hyperion公司，一家商業(yè)智能軟件公司。Microsoft也同樣進(jìn)入了這個領(lǐng)域。

但是捆綁不是將強(qiáng)大的計算能力和深入的數(shù)學(xué)工具結(jié)合在一起的唯一方式。大型技術(shù)服務(wù)公司，像IBM、Accenture和HP，都有自己的研究人員、程序員和行業(yè)專家可以為客戶做這些工具。

互聯(lián)網(wǎng)上的營銷和廣告是重型計算和尖端數(shù)據(jù)可以應(yīng)用的一個社會市場。投資和啟動資金都大量涌入到這個市場，很多高性能的計算設(shè)備也是一樣進(jìn)入了。

Basem Nayfeh具有Stanford大學(xué)的博士頭銜，在學(xué)校中他做畢業(yè)研究的地方就在Google的創(chuàng)始人Sergey Brin的辦公樓下面。Nayfeh的論文是關(guān)于多處理器芯片的，而且他現(xiàn)在在硅谷的一家公司實驗室中的工作是關(guān)于氣候和計算機(jī)設(shè)計。

如今37歲的Nayfeh，是Revenue Science公司的首席技術(shù)官，這個公司跟蹤、分析和預(yù)測在線的行為幫助廣告人尋找可能購買他們商品的人群。很多他的計算機(jī)奇才同事都是做在線營銷的。

"如果5年或者10年前，有人問我們中的任意一個，是否我們是做廣告的，"他說，"沒有一個人會說是。"(techtarget)