大數(shù)據(jù)時(shí)代，我們需要這樣的思考方式

申請免費(fèi)試用、咨詢電話：400-8352-114

       維克托·邁爾·舍恩伯格和肯尼斯·庫克耶在《大數(shù)據(jù)時(shí)代》中告訴我們大數(shù)據(jù)的4V特點(diǎn)，即Volume（大量）、Velocity（高速）、Variety（多樣）、Veracity（真實(shí)）。相比小數(shù)據(jù)，大數(shù)據(jù)一定是復(fù)雜的。然而，復(fù)雜性對于我們來說，絕對是一個(gè)機(jī)會而不應(yīng)是一個(gè)問題。面對大數(shù)據(jù)時(shí)代的撲面而來，如何擁抱大數(shù)據(jù)，從思考方式的轉(zhuǎn)變開始。

       從“基于預(yù)設(shè)的結(jié)構(gòu)化數(shù)據(jù)庫”到“無需預(yù)設(shè)的非關(guān)系型數(shù)據(jù)庫”

       小數(shù)據(jù)時(shí)代，我們對于數(shù)據(jù)的存儲與檢索一直依賴于分類法和索引法，分類和索引是一種清晰獲取數(shù)據(jù)的機(jī)制設(shè)計(jì)，這種機(jī)制是以預(yù)設(shè)場域?yàn)榍疤岬?。這種結(jié)構(gòu)化數(shù)據(jù)庫的預(yù)設(shè)場域能夠卓越地展示數(shù)據(jù)的整齊排列與準(zhǔn)確存儲，毫無疑問，這與追求數(shù)據(jù)的精確性目標(biāo)是完全一致的，在數(shù)據(jù)稀缺與問題清晰的年代，這種基于預(yù)設(shè)的結(jié)構(gòu)化數(shù)據(jù)庫能夠有效的回答人們的問題，并且這種數(shù)據(jù)庫在不同的時(shí)間能夠提供一致的結(jié)果。

       面對大數(shù)據(jù)，由于數(shù)據(jù)的海量、混雜等特征會使預(yù)設(shè)的數(shù)據(jù)庫系統(tǒng)崩潰。其實(shí)，數(shù)據(jù)的紛繁雜亂才真正呈現(xiàn)出世界的復(fù)雜性和不確定性特征，想要獲得大數(shù)據(jù)的價(jià)值，承認(rèn)混亂而不是對抗或避免混亂才是一種可行的路徑。為此，伴隨著大數(shù)據(jù)的涌現(xiàn)，出現(xiàn)了非關(guān)系型數(shù)據(jù)庫，它不需要預(yù)先設(shè)定記錄結(jié)構(gòu)，而且允許處理各種各樣形形色色參差不齊的數(shù)據(jù)。因?yàn)榘萘私Y(jié)構(gòu)的多樣性，這些無需預(yù)設(shè)的非關(guān)系型數(shù)據(jù)庫設(shè)計(jì)能夠處理和存儲更多的數(shù)據(jù)，成為大數(shù)據(jù)時(shí)代的重要應(yīng)對手段。如微軟的數(shù)據(jù)庫設(shè)計(jì)專家Pat Helland所言：“我們再也不能假裝活在一個(gè)齊整的世界里?！?/p>

       從“隨機(jī)樣本”到“全量數(shù)據(jù)”

       統(tǒng)計(jì)學(xué)家通過分析發(fā)現(xiàn)，采樣分析的精確性隨著采樣隨機(jī)性的增加而大幅提高，但與樣本數(shù)量的增加關(guān)系不大。這個(gè)發(fā)現(xiàn)對于小數(shù)據(jù)時(shí)代無疑是非常鼓舞人心的，隨機(jī)采樣獲得了巨大的成功，并成為現(xiàn)代社會測量領(lǐng)域的核心思想。隨機(jī)樣本的基礎(chǔ)是采樣的絕對隨機(jī)性，然而，如此嚴(yán)格意義的隨機(jī)實(shí)現(xiàn)起來是非常困難的，一旦采樣過程存在任何偏見，分析結(jié)果將相去甚遠(yuǎn)，況且隨機(jī)樣本帶給我們的只能是事先預(yù)設(shè)問題的答案。這種缺乏延展性的結(jié)果，無疑會使我們錯(cuò)失更多的問題域。

       大數(shù)據(jù)時(shí)代，數(shù)據(jù)的收集問題不再成為我們的困擾，采集全量的數(shù)據(jù)成為現(xiàn)實(shí)。全量數(shù)據(jù)帶給我們視角上的宏觀與高遠(yuǎn)，這將使我們可以站在更高的層級全貌看待問題，看見曾經(jīng)被淹沒的數(shù)據(jù)價(jià)值，發(fā)現(xiàn)藏匿在整體中有趣的細(xì)節(jié)。因?yàn)閾碛腥炕驇缀跞康臄?shù)據(jù)，就能使我們獲得從不同的角度更細(xì)致更全面的觀察研究數(shù)據(jù)的可能性，從而使得大數(shù)據(jù)的分析過程成為驚喜的發(fā)現(xiàn)過程和問題域的拓展過程。

       從“數(shù)據(jù)的精確性和結(jié)果的準(zhǔn)確性”到“數(shù)據(jù)的混雜性和結(jié)果的容錯(cuò)性”

       小數(shù)據(jù)時(shí)代，由于可獲得的數(shù)據(jù)量比較小，為此我們必須盡量準(zhǔn)確的記錄下所獲得的所有數(shù)據(jù)，從而引發(fā)了測量工具的優(yōu)化工作；由于數(shù)據(jù)處理手段的限制，能被我們利用的數(shù)據(jù)基本限于能適用于傳統(tǒng)數(shù)據(jù)庫的結(jié)構(gòu)化數(shù)據(jù)；由于采用的是隨機(jī)采樣，因此采樣過程的精確度被放在重要的地位。顯然，這種對精確性的執(zhí)著是信息缺乏時(shí)代和模擬時(shí)代的產(chǎn)物。

       大數(shù)據(jù)時(shí)代，海量數(shù)據(jù)的涌現(xiàn)一定會增加數(shù)據(jù)的混亂性且造成結(jié)果的不準(zhǔn)確性，如果仍然執(zhí)迷的依循準(zhǔn)確性，那么我們將無法應(yīng)對這個(gè)新的時(shí)代。與數(shù)據(jù)的混雜性可能帶來的結(jié)果錯(cuò)誤性的增加相比，由數(shù)據(jù)量的擴(kuò)張帶給我們的新洞察、新趨勢和新價(jià)值更有意義，因?yàn)榇髷?shù)據(jù)通常都用概率說話，何況大數(shù)據(jù)的處理之前是可以對之進(jìn)行數(shù)據(jù)清洗從而減少部分的錯(cuò)誤數(shù)據(jù)。所以，與致力于避免錯(cuò)誤相比，對錯(cuò)誤的包容將會帶給我們更多信息。其實(shí)，允許數(shù)據(jù)的混雜性和容許結(jié)果的不精確性才是我們擁抱大數(shù)據(jù)的正確態(tài)度，只有讓步和接受甚至欣賞不精確性，才能看到大數(shù)據(jù)帶給我們的美好前景，未來我們應(yīng)當(dāng)習(xí)慣這種思維。

       從“復(fù)雜算法”到“簡單算法”

       算法是挖掘數(shù)據(jù)價(jià)值的工具，因此算法的研究一直以來是提升數(shù)據(jù)利用效率的重要路徑。小數(shù)據(jù)時(shí)代，在數(shù)據(jù)的限制無法突破的情形下，對數(shù)據(jù)信息和價(jià)值的獲取渴求使得對算法的研究越來越深入，發(fā)明的算法越來越復(fù)雜。而事實(shí)表明，當(dāng)數(shù)據(jù)量以指數(shù)級擴(kuò)張時(shí)，原來在小數(shù)量級的數(shù)據(jù)中表現(xiàn)很差的簡單算法，準(zhǔn)確率會大幅提高；與之相反的是，在少量數(shù)據(jù)情況下運(yùn)行得最好的復(fù)雜算法，在加入更多數(shù)據(jù)時(shí)，其算法的優(yōu)勢則不在顯現(xiàn)。為此，更多的數(shù)據(jù)比算法系統(tǒng)顯得更智能更重要，大數(shù)據(jù)的簡單算法比小數(shù)據(jù)的復(fù)雜算法更有效。

       從“為什么”到“是什么”

       小數(shù)據(jù)時(shí)代，由于數(shù)據(jù)可獲得性和計(jì)算能力的有限性，使得我們對于問題的研究需要在假設(shè)的基礎(chǔ)上進(jìn)行驗(yàn)證，并探究“為什么”,而始于假設(shè)的分析研究非常容易受偏見支配。

       大數(shù)據(jù)時(shí)代，快速發(fā)展的數(shù)據(jù)存儲、數(shù)據(jù)傳輸、數(shù)據(jù)獲取、數(shù)據(jù)處理等系列技術(shù)群，為我們對于問題的研究提供了新的視野和有價(jià)值的預(yù)測，并使我們獲得更多以往所不曾被關(guān)注的聯(lián)系與動態(tài)，探究“是什么”成為我們發(fā)現(xiàn)世界了解世界的更便捷的途徑，且不會受先驗(yàn)假設(shè)的偏見影響。

       從“因果關(guān)系”到“相關(guān)關(guān)系”

       小數(shù)據(jù)時(shí)代，信息的匱乏會使我們趨向于采用因果關(guān)系范式去快速理解問題并做出決策，雖然這種因果關(guān)系可能并不存在，但這是我們理解和解釋世界的一條捷徑。在人類力量有限性凸顯的時(shí)候，這種認(rèn)知捷徑往往能帶給我們一種認(rèn)知上的安慰感和安全感，仿佛世界就是因果性的存在著。

       由于大數(shù)據(jù)時(shí)代對于數(shù)據(jù)的研究不再拘泥于對因果關(guān)系的探究，這將會使我們完全有條件向關(guān)聯(lián)、非關(guān)聯(lián)等相關(guān)關(guān)系探究的轉(zhuǎn)變。類似啤酒與尿布存在相關(guān)性的經(jīng)典案例不勝枚舉。海量數(shù)據(jù)不斷被制造與我們對于數(shù)據(jù)搜集、存儲、傳輸、處理能力的日益提高，是大數(shù)據(jù)時(shí)代的當(dāng)下特征?；诨ヂ?lián)網(wǎng)、云計(jì)算等現(xiàn)代化手段，對海量的數(shù)據(jù)進(jìn)行統(tǒng)計(jì)性的搜索、比較、分析、歸納，我們會發(fā)現(xiàn)，原本似乎毫不相干的事物之間存在著較高的關(guān)聯(lián)度，這是傳統(tǒng)的因果分析、邏輯推理調(diào)研難以解釋也無法企及的。

       當(dāng)然，相關(guān)關(guān)系并不是大數(shù)據(jù)洞察的終結(jié)目標(biāo)。在很多情況下，一旦我們完成了對大數(shù)據(jù)的相關(guān)關(guān)系分析，而又不再滿足于僅僅“是什么”時(shí)，我們就會繼續(xù)朝向因果關(guān)系的研究，尋求“為什么”,并且基于相關(guān)關(guān)系的分析，進(jìn)一步尋求因果關(guān)系將會大大降低其分析成本。其實(shí)，因果關(guān)系就是一種特殊的相關(guān)關(guān)系。

       從“審慎的決策與行動”到“快速的決策與行動”

       小數(shù)據(jù)時(shí)代，我們基于對社會運(yùn)作情境的假設(shè)，通過收集和分析數(shù)據(jù)來驗(yàn)證這種假設(shè)；通過數(shù)據(jù)的檢驗(yàn)，原有假設(shè)不成立，意味著我們將重新開始新的假設(shè)并重新收集和分析新的數(shù)據(jù)，直到我們的驗(yàn)證通過為止。因此，小數(shù)據(jù)時(shí)代，我們的決策與行動是審慎的。

      大數(shù)據(jù)時(shí)代，我們不再受限于傳統(tǒng)的思維模式和隱含的假定，我們需要對大數(shù)據(jù)分析的工具理論，通過對大數(shù)據(jù)的分析，大數(shù)據(jù)會為我們呈現(xiàn)出新的深刻洞見和釋放出巨大的價(jià)值。我們在大數(shù)據(jù)的指導(dǎo)下探索世界并且不再受制于各種假設(shè)，這將使我們勢必要以積極的姿態(tài)隨時(shí)接收著來自數(shù)據(jù)的洞察，并做出快速的決策與行動，因?yàn)闄C(jī)會和價(jià)值很快就會被刷新，大數(shù)據(jù)的價(jià)值也正是在于將及時(shí)的信息及時(shí)的傳遞給及時(shí)需要的人手中并及時(shí)的做出決策和行動。可以預(yù)見的未來必然是，得數(shù)據(jù)者得天下。

       其實(shí)，我們只是站在一個(gè)很長過程的起點(diǎn)上。

原文來自CIO信息網(wǎng)

泛普軟件分享（www.isoffice.cn）