小心大數(shù)據(jù)的陷阱

申請免費試用、咨詢電話：400-8352-114

前不久騰訊舉辦了一場夏季思享會，其主題是大數(shù)據(jù)。關于大數(shù)據(jù)，大家炒作得更多的是機遇、威力，比方說越來越多人利用 Google 的大數(shù)據(jù)來研究趨勢，輔助分析決策，但是這場思享會從另一個角度分享了一個很好的思考：大數(shù)據(jù)也可能是“大忽悠”。

而最近對 Google Flu Trends（流感趨勢）的一些研究正好佐證了這一點。

說到 Google Flu Trends，首先必須先提一提 Google Trends 和 Google Correlate。Google Trends 利用對用戶搜索的大數(shù)據(jù)分析來獲得人類某些活動的趨勢，只要在 Google Trends 上輸入某些查詢關鍵字即可返回相關活動的數(shù)據(jù)序列。而 Google Correlate 則是輸入數(shù)據(jù)序列可返回一組結果呈類似模式（相關性）的查詢，有點類似于 Google Trends 的反函數(shù)。

Google Flu Trends 是 Google Trends 最早也是最知名的應用之一。鑒于很多人患流感是往往會上 Google 查詢了解疾病情況和用藥，因此 Google 發(fā)現(xiàn)這種查詢與流感爆發(fā)存在著某種相關關系。Google Trends 曾經有過多次對流感的成功預測，包括 2011/12 年的美國流感、2007/08 年瑞士流感、2005/06 年德國流感、2007/08 比利時流感等，其及時性甚至要比美國疾病預防控制中心還要高。

這顯示出了搜索“流感”與流感爆發(fā)的相關性。

另一個例子是“宿醉”。比方說在 Google Trends 輸入“hangover（宿醉）”，你會發(fā)現(xiàn)這種情況在周六開始冒頭，然后周日到達巔峰，而到了周一則急劇下降。這種模式與輸入“伏特加”的查詢結果類似（滯后一天）。

但是數(shù)據(jù)越大未必就能帶來更高的預測率。甚至還會帶來“假規(guī)律”和“偽相關”。比方說，搜索 2004 至 2012 年間的美國汽車銷售與“印度餐館”，結果發(fā)現(xiàn)二者之間竟然存在相關關系。這個東西顯然是無法解釋的。

偽相關的原因是什么呢？

首先，相關性并不意味著因果關系。比方說，Google Flu Trends 對趨勢的預測并非屢試不爽。有幾次 Google Trends 就嚴重高估了流感病例的數(shù)量，包括 2011/12 的美國流感，2008/09 瑞士流感，2008/09 德國流感、2008/09 比利時流感等。

英國倫敦大學學院的研究人員對此進行了研究。結果發(fā)現(xiàn)，到 Google 搜索“流感”的人可以分成兩類，一類是感冒患者，一類是跟風搜索者（可能是因為媒體報道而對感冒話題感興趣者）。

顯然第一類人的數(shù)據(jù)才是有用的。其搜索是內部產生的，獨立于外界的。因此這些人的搜索模式應該與受到外界影響而進行搜索的人的模式不同。而正是第二類人的社會化搜索使得 Google Flu Trends 的預測失真。這正是因為 Google Flu Trends 把搜索“流感”與得流感的相關性當成了因果關系所致。

而稍早前美國東北大學與哈佛大學的研究人員對 Google Flu Trends 的失真案例進行的另一組研究則認為，這反映出了熱炒大數(shù)據(jù)的氛圍下誕生的一股大數(shù)據(jù)自大思潮。這股思潮認為，大數(shù)據(jù)完全可以取代傳統(tǒng)的數(shù)據(jù)收集方法。其最大問題在于，絕大多數(shù)大數(shù)據(jù)與經過嚴謹科學試驗和采樣設計得到的數(shù)據(jù)之間存在很大的不同。首先，大未必全；其次，大則可能魚龍混雜。

此外，Google搜索算法本身的變化也有可能影響到Google Flu Trends的結果。這個原因不難理解。要知道，Google 搜索的調整非常頻繁，單去年就進行了890項改進。其中就有不少屬于算法的調整。媒體對于流感流行的報道會增加與流感相關的詞匯的搜索次數(shù)，也會令 Google 增加相關搜索的推薦。從而令一些本身并不感冒的人也對流感產生了興趣，進而把數(shù)據(jù)弄臟。

如何清洗數(shù)據(jù)呢？歸根到底還是需要對數(shù)據(jù)進行模式分析。在流感趨勢這個例子，研究人員認為，執(zhí)行獨立搜索的患流感人群的模式會隨著時間推移而異于社會化搜索。其表現(xiàn)應該是在流感爆發(fā)時搜索急劇攀升，然后隨著流感消失而緩慢下降。相反，社會化搜索則會表現(xiàn)得更為勻稱。數(shù)據(jù)表明，在 Google 流感趨勢出現(xiàn)高估的時候，趨勢曲線的對稱性的確更高。

這說明在分析大數(shù)據(jù)時必須要注意此類陷阱。充斥的大數(shù)據(jù)集以及統(tǒng)計學家對分析結果的傳播會令真實的數(shù)據(jù)被放大或弄臟。

正如《The Parable of Google Flu: Traps in Big Data Analysis》的作者所認為那樣，數(shù)據(jù)的價值并不僅僅體現(xiàn)在其“大小”上。利用創(chuàng)新性數(shù)據(jù)分析方法去分析數(shù)據(jù)才是本質。

當然，在未來數(shù)據(jù)能夠逐步成為真正的大數(shù)據(jù)，并且數(shù)字世界與實體世界的映射趨于一致時，大數(shù)據(jù)也許就能發(fā)揮其完全的威力，乃至于改變我們解決問題的方式。