如何尋找數(shù)據(jù)價(jià)值

申請(qǐng)免費(fèi)試用、咨詢電話：400-8352-114

近十年來(lái)，隨著大中型企業(yè)對(duì)業(yè)務(wù)應(yīng)用系統(tǒng)的普及，在經(jīng)過(guò)一段時(shí)間的運(yùn)作后，他們的業(yè)務(wù)會(huì)越來(lái)越成熟，也越來(lái)越穩(wěn)定，所擁有的數(shù)據(jù)也會(huì)越來(lái)越多，人員使用水平也越來(lái)越高，表面看似都做得很不錯(cuò)，也很風(fēng)光，但在他們的系統(tǒng)里，面對(duì)日積月累存儲(chǔ)的龐大數(shù)據(jù)，這些數(shù)據(jù)到底能提供什么樣的價(jià)值？如何在這些數(shù)據(jù)里找到它的再生價(jià)值、規(guī)律與關(guān)系？以用于指導(dǎo)原有業(yè)務(wù)，開(kāi)拓新業(yè)務(wù)，甚至提供決策分析呢？這個(gè)問(wèn)題已成為影響企業(yè)發(fā)展的重要瓶頸之一。

要找出數(shù)據(jù)的價(jià)值、關(guān)系和規(guī)律就必須引進(jìn)商業(yè)智能（BI），不管您是購(gòu)買(mǎi)商業(yè)智能或是自行開(kāi)發(fā)的商業(yè)智能系統(tǒng)。

無(wú)論您用還是不用商業(yè)智能，在這個(gè)大問(wèn)題里（企業(yè)有可能會(huì)遇到以下兩個(gè)瓶頸：1、盡管企業(yè)有大量的數(shù)據(jù)，但有很多數(shù)據(jù)不準(zhǔn)確導(dǎo)致商業(yè)智能應(yīng)用受阻；2、業(yè)務(wù)模型建不起來(lái)，影響商業(yè)智能的應(yīng)用。此兩個(gè)瓶頸不在討論之列，就當(dāng)企業(yè)不存在這兩個(gè)問(wèn)題），您都要解決現(xiàn)有業(yè)務(wù)系統(tǒng)下會(huì)遇到的五大瓶頸問(wèn)題：

瓶頸一：性能低劣

性能的好壞直接影響系統(tǒng)的運(yùn)行速度，尤其是針對(duì)擁有TB級(jí)數(shù)據(jù)量的客戶。但性能的好壞主要是看基什么樣的標(biāo)準(zhǔn)，因?yàn)榭蛻暨M(jìn)行大量的查詢，報(bào)表，分析，OLAP……對(duì)得到的結(jié)果，會(huì)有以下反應(yīng)：

1. 不覺(jué)得很慢，因?yàn)闆](méi)有和其他的對(duì)比，覺(jué)得就是這樣的速度；

2. 目前的狀況尚可以接受這樣的結(jié)果，不需要做改變；

3. 實(shí)實(shí)在在速度很高，沒(méi)有可比性（此為少數(shù)，不在討論之列）。

故此，客戶對(duì)性能好壞沒(méi)有太大的感覺(jué)，但是當(dāng)系統(tǒng)中的數(shù)據(jù)過(guò)于龐大，達(dá)到TB級(jí)（海量數(shù)據(jù)）時(shí)，就不得不考慮性能問(wèn)題了，試想，如果運(yùn)算了三十分鐘結(jié)果還是出不來(lái)，最終死機(jī)了，您能忍受嗎？但如果僅需要十秒八秒就完成三十分鐘的事情，您覺(jué)得如何？要達(dá)到這樣的效果，必須解決性能低劣問(wèn)題，要擁有以下四方面創(chuàng)新技術(shù)：

1、 超高速ETL引擎技術(shù)

要解決海量數(shù)據(jù)性能問(wèn)題，必不可少方法之一就是建數(shù)據(jù)倉(cāng)庫(kù)，要建好數(shù)據(jù)倉(cāng)庫(kù)就必須要有好的ETL，沒(méi)有好的ETL工具，數(shù)據(jù)倉(cāng)庫(kù)肯定差，當(dāng)數(shù)據(jù)量越大時(shí)，您的運(yùn)行速度必定很慢。例如出入境報(bào)表性能處理案例，出入境系統(tǒng)主要是統(tǒng)計(jì)全國(guó)出入境人口情況,所以數(shù)據(jù)量相當(dāng)龐大（千萬(wàn)記錄級(jí)），在軟硬件條件都已非常好的情況下（Oracle 10g / 10多臺(tái)刀片式服務(wù)器集群服務(wù)），按傳統(tǒng)的做法,從數(shù)據(jù)庫(kù)查詢一條簡(jiǎn)單SQL語(yǔ)句，Oracle需要30分鐘后才有回應(yīng)。為了提高性能，我們使用數(shù)據(jù)倉(cāng)庫(kù)技術(shù)解決此問(wèn)題，利用數(shù)據(jù)倉(cāng)庫(kù)技術(shù)，針對(duì)業(yè)務(wù)關(guān)系數(shù)據(jù)庫(kù)的大數(shù)據(jù)量表，劃分為多個(gè)大數(shù)據(jù)量主題，建立相應(yīng)的多維數(shù)據(jù)集。根據(jù)對(duì)出境申請(qǐng)和簽注辦理這兩個(gè)多維數(shù)據(jù)集的測(cè)試結(jié)果，性能可提高幾十倍甚至過(guò)百倍。一般條件下，不超過(guò)10秒可出結(jié)果。不管多復(fù)雜的條件組合，一般也不超過(guò)一分鐘可出結(jié)果。目前出入境如涉及到數(shù)據(jù)量比較大的表時(shí)，都采用了此數(shù)據(jù)倉(cāng)庫(kù)方式實(shí)現(xiàn)。使用了數(shù)據(jù)倉(cāng)庫(kù)后,報(bào)表統(tǒng)計(jì)速度由原來(lái)的56分鐘,降到現(xiàn)在只需10多秒就統(tǒng)計(jì)完畢. 性能比以前提高幾十倍甚至過(guò)百倍。

2、 “去掉”表關(guān)聯(lián)技術(shù)
在您構(gòu)造各種組合查詢、報(bào)表時(shí)會(huì)涉及表與表之間的關(guān)系，即是通過(guò)表的關(guān)鍵標(biāo)識(shí)將表關(guān)聯(lián)起來(lái)，如果您涉及查詢表關(guān)聯(lián)越多，速度將會(huì)越慢，尤其是數(shù)據(jù)量大時(shí)，更有可能死機(jī)。故此必須要有“去掉”表關(guān)聯(lián)技術(shù)，通過(guò)一種計(jì)算方式，在眾多的路徑中找到最短的路徑，通過(guò)簡(jiǎn)單的拖放連線，熟悉庫(kù)結(jié)構(gòu)的IT人員或開(kāi)發(fā)商就可以預(yù)先把表關(guān)系建好在語(yǔ)義層中，支持多字段關(guān)聯(lián)、內(nèi)外連接。這樣，最終用戶在做查詢或報(bào)表時(shí)，就不必理會(huì)表關(guān)聯(lián)了，需要查什么直接拖放即可。

3、 代碼表快速轉(zhuǎn)換技術(shù)

在利用計(jì)算機(jī)進(jìn)行查找時(shí)，我們都知道英文比中文快，數(shù)字比中文快。如果數(shù)據(jù)庫(kù)很多字段里的內(nèi)容是中文，那么對(duì)中文進(jìn)行查找會(huì)相當(dāng)慢，若查找的量很大，則有可能出現(xiàn)“老牛拉破車(chē)”一樣令人無(wú)法忍受。這時(shí)候必須要有一項(xiàng)技術(shù)進(jìn)行代碼表轉(zhuǎn)換，這項(xiàng)技術(shù)可以把任何東西變成數(shù)字或字符處理，計(jì)算機(jī)頻繁處理時(shí)是數(shù)據(jù)，出來(lái)的結(jié)果是中文，由數(shù)字和中文一一對(duì)應(yīng)，使查找起來(lái)非?？焖佟?

4、 海量數(shù)據(jù)處理技術(shù)

當(dāng)查詢統(tǒng)計(jì)分析的數(shù)據(jù)量非常大（達(dá)到TB級(jí)）時(shí)，數(shù)據(jù)的緩存空間就成為處理海量數(shù)據(jù)最大的難題，以內(nèi)存提供緩存空間的做法將極大程度上影響到其他的后臺(tái)運(yùn)作，當(dāng)內(nèi)存無(wú)法負(fù)荷時(shí)就會(huì)導(dǎo)致速度緩慢，任務(wù)排隊(duì)，甚至是系統(tǒng)死機(jī)，BQ的“資源人工智能分配技術(shù)”通過(guò)對(duì)CPU，內(nèi)存和硬盤(pán)的智能分配，實(shí)現(xiàn)海量數(shù)據(jù)的高效查詢。

上述這四個(gè)方面在性能上是至關(guān)重要的，也是技術(shù)上最大的難點(diǎn)！

瓶頸二：過(guò)往成果不能重用

當(dāng)千辛萬(wàn)苦制作好大量報(bào)表、查詢、分析，因?yàn)闃I(yè)務(wù)的需求變化，也許里面的某一條公式發(fā)了變化，例如：業(yè)務(wù)公式為“f(a)”，變更為“f(b)”，您能在每一個(gè)報(bào)表、查詢、分析眾多元素內(nèi)找到這條公式嗎？您還能記住在哪個(gè)地方嗎？或許做這些報(bào)表的人已更換，新接手的人就更可想而知了，即便是您自己經(jīng)手的，盡管您對(duì)每個(gè)報(bào)表、查詢、分析關(guān)系相當(dāng)?shù)那宄?，相信您也不大好找，這樣費(fèi)事費(fèi)勁的工作可能還會(huì)分分鐘鐘因?yàn)槭止ば薷亩霈F(xiàn)遺漏的地方，難道放棄重做？那要花多少資源？多少成本？這意味著企業(yè)辛苦做出的成果得不到重用，這種浪費(fèi)是非?？杀摹?

如果有一項(xiàng)“全對(duì)象重用技術(shù)”，就輕而易舉的解決以上問(wèn)題，這項(xiàng)技術(shù)把所有需要操作的元素（數(shù)據(jù)源、表、字段、條件、查詢、報(bào)表等）構(gòu)建成對(duì)象直接引用到報(bào)表，查詢、分析中，當(dāng)修改一個(gè)對(duì)象，凡是引用該對(duì)象的地方都會(huì)自動(dòng)修改。

 瓶頸三：數(shù)據(jù)無(wú)法多元化展示

隨著業(yè)務(wù)應(yīng)用深入，對(duì)數(shù)據(jù)呈現(xiàn)的方法必須是多種多樣的，各種各樣的報(bào)表、查詢、分析是否都能做？因?yàn)閷儆谏虡I(yè)智能業(yè)務(wù)應(yīng)用的范圍非常廣，如果無(wú)法一一滿足需求的話，這勢(shì)必會(huì)成為企業(yè)的瓶頸，企業(yè)不得不面臨兩種選擇：要不就只能再購(gòu)買(mǎi)其他的產(chǎn)品來(lái)彌補(bǔ)，但又要考慮到如何整合的問(wèn)題；要不就只能自行開(kāi)發(fā)，但花費(fèi)的人力、投入的資源都必須面對(duì)，并且開(kāi)發(fā)出來(lái)是否適用還是個(gè)問(wèn)題……最后，甚至?xí)霈F(xiàn)用不下去只能放棄的局面。

瓶頸四：無(wú)法將結(jié)果集合在同一視圖

各種查詢，報(bào)表，分析彼此之間都是有關(guān)聯(lián)的集合，如何把這些做好的結(jié)果集合在一個(gè)視圖里瀏覽？如果沒(méi)有這樣的一項(xiàng)技術(shù)，只能一一打開(kāi)這些查詢、報(bào)表、分析來(lái)看，這樣看不是不可以，但是看起來(lái)相當(dāng)?shù)馁M(fèi)勁，也只會(huì)讓您看了前面的忘了后面的，看了后面的由忘了前面的，并且難以記住關(guān)聯(lián)的關(guān)系，當(dāng)不同參數(shù)選擇不同的內(nèi)容，關(guān)聯(lián)還會(huì)發(fā)生變化，如果不在同一個(gè)視圖根本就不可能直觀的看到這種變化。

要解決這個(gè)問(wèn)題必須要有EIS，將彼此關(guān)聯(lián)的查詢、報(bào)表放在同一個(gè)視圖，并輔以直觀的圖象，如此一來(lái)就能一目了然，非常全面的看到各項(xiàng)關(guān)系的變化。

瓶頸五：無(wú)法動(dòng)態(tài)展示文字報(bào)表

報(bào)表、查詢、分析相對(duì)是獨(dú)立的，即使解決了上面瓶頸四的問(wèn)題，但決大部分展示出來(lái)的主體是數(shù)字和表，還無(wú)法真正體現(xiàn)文字報(bào)告，文字報(bào)告指的是能將文字、數(shù)字、圖表三者有機(jī)結(jié)合，以大量文字為主體，穿插很多數(shù)字或與數(shù)字有關(guān)的圖表。傳統(tǒng)的文字報(bào)告由人工編輯完成，一旦數(shù)字變了，文字要相應(yīng)的做改變，與之相關(guān)的圖表也要隨之修改，如果這樣的報(bào)告很多，那么工作量就會(huì)大大增加，出錯(cuò)的機(jī)率也增大。

目前有一種WordReport報(bào)表，在WORD里動(dòng)態(tài)生成文字、數(shù)字、圖表三者的關(guān)系，能將數(shù)字和文字對(duì)應(yīng)起來(lái)，動(dòng)態(tài)變化展示，無(wú)須手工改動(dòng)，更可靠、準(zhǔn)確，大大提高了工作效率。

不管是引進(jìn)的商業(yè)智能或者是自行開(kāi)發(fā)的系統(tǒng)，如果不能解決以上五大瓶頸問(wèn)題，企業(yè)無(wú)法在原來(lái)的基礎(chǔ)上有質(zhì)的飛躍。而尚南的BlueQuery商業(yè)智能方案，能真正有效的解決上述的五大問(wèn)題，我們相信實(shí)力成就價(jià)值！