全面構建大數(shù)據(jù)開放格局

申請免費試用、咨詢電話：400-8352-114

中國信息通信研究院 孫鑫 近日，“2015中國互聯(lián)網+信息社會高端論壇”舉行，會議以“信息資源挖掘與數(shù)據(jù)開放未來”為主題，圍繞大數(shù)據(jù)產業(yè)當前發(fā)展到什么階段，存在哪些問題和挑戰(zhàn)，產業(yè)各方應如何破解展開了討論。 大數(shù)據(jù)產業(yè)開放漸成共識 大數(shù)據(jù)是繼云計算、移動互聯(lián)網之后快速崛起的熱點領域，在經歷了2013年大數(shù)據(jù)元年的飛速發(fā)展后，我國大數(shù)據(jù)領域逐漸從技術積累和嘗試階段步入了產業(yè)化發(fā)展階段，具備了加快發(fā)展構建大數(shù)據(jù)產業(yè)鏈的基礎條件和能力儲備，產業(yè)鏈形態(tài)初現(xiàn)端倪。 2014年12月，《中國大數(shù)據(jù)技術與產業(yè)發(fā)展白皮書（2014）》發(fā)布，對2015年的大數(shù)據(jù)發(fā)展進行了趨勢預測，數(shù)據(jù)的商品化、數(shù)據(jù)共享的聯(lián)盟化以及提升政府治理能力分列其中。與此同時，《白皮書》用“融合、跨界、基礎、突破”等主要關鍵詞概括了我國大數(shù)據(jù)產業(yè)的未來走向。由此可見，大數(shù)據(jù)開放格局在產業(yè)鏈中的重要地位已成為行業(yè)的普遍共識和一致訴求。2015年4月14日，全國首個大數(shù)據(jù)交易所“貴陽大數(shù)據(jù)交易所”掛牌運營，首批大數(shù)據(jù)產品成功交易，這標志著大數(shù)據(jù)資產化和經濟效益的直接轉換，同時對促進大數(shù)據(jù)資產的流通和共享具有重要意義。 開放格局面臨新挑戰(zhàn) 在大數(shù)據(jù)開放過程中，筆者認為還存在以下問題： 一是多源數(shù)據(jù)水平參差不齊，可用性有待提高。開放格局下的數(shù)據(jù)源要求在現(xiàn)有數(shù)據(jù)獲取途徑的基礎上，提供更多樣化的數(shù)據(jù)采集手段，并進一步提升數(shù)據(jù)采集的范圍、頻度和精度。目前各細分行業(yè)的采集手段較難統(tǒng)一，不同行業(yè)領域生成數(shù)據(jù)的過程往往依靠私有化和定制化的設備來實現(xiàn)，這也導致了各行業(yè)領域對同一數(shù)據(jù)內容的解讀存在廣泛的不一致現(xiàn)象，影響了公共數(shù)據(jù)的梳理和聚集。例如對同一數(shù)據(jù)來源，不同的行業(yè)領域可能采用不同的編碼方式、存儲類型、索引結構等，盡管數(shù)據(jù)的天然屬性是唯一的，但表現(xiàn)在技術方式上多種多樣，人為地造成了數(shù)據(jù)的“多樣性”，致使數(shù)據(jù)整合難度加大，數(shù)據(jù)的直接可用性嚴重低下。 二是數(shù)據(jù)模型的衍生速度滯后于應用發(fā)展。開放格局下的數(shù)據(jù)分析和挖掘工作重點由傳統(tǒng)的單一領域數(shù)據(jù)分析轉為多領域數(shù)據(jù)的綜合分析，相對應的數(shù)據(jù)模型也從平面式模型結構向數(shù)據(jù)模型立方體轉變。數(shù)據(jù)模型的規(guī)范性和權威性會直接影響數(shù)據(jù)分析結果和戰(zhàn)略決策的準確性，因此，缺乏高效可用的數(shù)據(jù)模型成為開放格局下數(shù)據(jù)分析挖掘服務能力的瓶頸所在。此外，目前數(shù)據(jù)模型的生成和創(chuàng)新主要依賴人工預設、人工智能和機器學習等傳統(tǒng)方式，針對多源數(shù)據(jù)關聯(lián)的模型仍然不成熟，高質量數(shù)據(jù)模型的衍生速度尚不足以匹配應用的迭代速度和業(yè)務場景對數(shù)據(jù)分析結果的高要求。 三是混搭架構的存在要求重視頂層架構設計。一方面，數(shù)據(jù)來源的多樣化，以及數(shù)據(jù)應用兼顧在線分析（OLAP）、實時交易（OLTP）等多場景的現(xiàn)實訴求，決定了企業(yè)必須借助混搭技術要素來設計復雜的數(shù)據(jù)架構。另一方面，傳統(tǒng)企業(yè)礙于現(xiàn)實生產系統(tǒng)效率和準確性的影響，IT系統(tǒng)“去IOE”的過程較為緩慢且不徹底，基于小型機構建的Oracle數(shù)據(jù)庫較難被完全替代，基礎設施類型和數(shù)據(jù)組織方式的異構性同樣導致了混搭數(shù)據(jù)架構可能長期存在。如何面向企業(yè)數(shù)據(jù)需求構建包括傳統(tǒng)關系型數(shù)據(jù)庫、內存數(shù)據(jù)庫和分布式文件系統(tǒng)等多元素的混搭架構，成為開放格局下數(shù)據(jù)保有者進行頂層架構設計所面臨的新問題。 四是數(shù)據(jù)私有化和開放訴求的天然矛盾持續(xù)升級。數(shù)據(jù)私有化不僅體現(xiàn)在數(shù)據(jù)保有者對原始數(shù)據(jù)的不斷積累，同時也作用于ETL等數(shù)據(jù)的私有化加工過程。出于對企業(yè)信息和用戶隱私的保護，數(shù)據(jù)保有者通常將加工處理后的原始數(shù)據(jù)作為數(shù)據(jù)內容開放給上層應用使用，但不公開相應的數(shù)據(jù)加工轉換規(guī)則。在缺乏行業(yè)標準的統(tǒng)一指導下，開放哪些數(shù)據(jù)字段、字段的編碼映射規(guī)則及數(shù)據(jù)加工的精度等都導致應用提供者在數(shù)據(jù)開放格局中處于被動地位。隨著數(shù)據(jù)范圍的不斷擴大和多領域數(shù)據(jù)關聯(lián)結果的指數(shù)級增長，數(shù)據(jù)私有化的壁壘效應會越發(fā)明顯。 當前我國大數(shù)據(jù)產業(yè)的組織方式是遵照數(shù)據(jù)生命周期的各生產加工步驟展開的，在新的數(shù)據(jù)開放格局中，實現(xiàn)數(shù)據(jù)價值和提供更廣泛的數(shù)據(jù)服務仍將貫穿大部分數(shù)據(jù)生產加工流程。面對開放環(huán)境給大數(shù)據(jù)產業(yè)帶來的全新挑戰(zhàn)，把握數(shù)據(jù)流轉過程的核心環(huán)節(jié)，推進多層次數(shù)據(jù)能力開放，有助于促成我國數(shù)據(jù)產業(yè)開放格局快速形成。 首先是“治數(shù)據(jù)之本”，加強對數(shù)據(jù)質量的控制。數(shù)據(jù)質量控制是數(shù)據(jù)開放共享格局的核心要素之一，理順開放格局下多重數(shù)據(jù)來源是保障數(shù)據(jù)產業(yè)良性發(fā)展的抓手。建立各細分領域自行保有數(shù)據(jù)、集中維系數(shù)據(jù)血緣關系的統(tǒng)分模式是從源頭上打通數(shù)據(jù)生產隔閡，提升數(shù)據(jù)質量的有效舉措。在跨領域數(shù)據(jù)關聯(lián)和加工過程中，通過規(guī)范的數(shù)據(jù)加工規(guī)則或提供加工流程的回溯檢驗能力，能夠最大限度地實現(xiàn)數(shù)據(jù)溯源。 其次是打造集成化的數(shù)據(jù)服務開放平臺，降低數(shù)據(jù)服務使用門檻。通過架構和技術路線的定制化，政府或企業(yè)有能力實現(xiàn)自數(shù)據(jù)存儲之后的全部數(shù)據(jù)流轉環(huán)節(jié)。其中，數(shù)據(jù)的加工與預處理是減小數(shù)據(jù)規(guī)模、提高數(shù)據(jù)可用性和單位存儲成本價值的必要環(huán)節(jié)，開放格局勢必促進去隱私化數(shù)據(jù)清洗、匿名轉換等具有共性的加工處理手段以第三方服務或集成服務的方式對外供給；數(shù)據(jù)分析和可視化工具的可集成性與友好的人機交互設計也是降低數(shù)據(jù)服務使用門檻的主要保障。通過搭建開放平臺的方式將上述服務能力統(tǒng)一整合，并作用于企業(yè)生產、行業(yè)分析和政府公共治理等各領域，有望成為我國大數(shù)據(jù)產業(yè)鏈在開放共享格局下的新型發(fā)展模式。 最后是推進多層次數(shù)據(jù)能力開放，鼓勵全產業(yè)環(huán)節(jié)積極參與。數(shù)據(jù)服務能力貫穿數(shù)據(jù)流轉過程，其開放性體現(xiàn)在多個層面，如數(shù)據(jù)的傳輸接口、數(shù)據(jù)的加工處理手段、數(shù)據(jù)的分析挖掘工具、數(shù)據(jù)的公共模型、數(shù)據(jù)的可視化操作界面等都是能力開放的重要形式。鑒于開源技術逐漸成為大數(shù)據(jù)的主流架構，沿襲開源開放的發(fā)展思路，通過數(shù)據(jù)生產加工過程各環(huán)節(jié)的深度參與，不斷豐富和完善產業(yè)環(huán)境，是探索我國大數(shù)據(jù)產業(yè)互惠共贏格局的有效途徑。   本文標題：全面構建大數(shù)據(jù)開放格局 Tags：