文本挖掘搶占商業(yè)智能掘金制高點(diǎn)

申請(qǐng)免費(fèi)試用、咨詢電話：400-8352-114

某業(yè)內(nèi)人士對(duì)商業(yè)智能在現(xiàn)代社會(huì)的重要性曾做過(guò)如下比喻，《世說(shuō)新語(yǔ)》中講： “盲人騎瞎馬，夜半臨深池?！?這短短十個(gè)字隱藏了四個(gè)危險(xiǎn)：由無(wú)知的經(jīng)理人來(lái)經(jīng)營(yíng)企業(yè)，就如同“盲人騎馬”，這是第一個(gè)危險(xiǎn)；依賴無(wú)知的員工，就如同“騎瞎馬”，這是第二個(gè)危險(xiǎn)；參與激烈的市場(chǎng)競(jìng)爭(zhēng)，就如同“臨深池”，這是第三個(gè)危險(xiǎn)；在全球經(jīng)濟(jì)不景氣的時(shí)候參與激烈的市場(chǎng)競(jìng)爭(zhēng)，就如同“夜半臨深池”，這是第四個(gè)危險(xiǎn)。所以“無(wú)知”，已成為企業(yè)最大的威脅。

互聯(lián)網(wǎng)時(shí)代，網(wǎng)絡(luò)中充斥著海量信息，企業(yè)需要對(duì)它們進(jìn)行合理及有效地利用，從而幫助企業(yè)在業(yè)務(wù)管理及發(fā)展上做出及時(shí)、正確的判斷，然后采取明智的行動(dòng)，做到在競(jìng)爭(zhēng)中占據(jù)主動(dòng)權(quán)?；ヂ?lián)網(wǎng)上流傳著這樣一個(gè)“尿布和啤酒”的經(jīng)典故事：美國(guó)一家大型超市利用數(shù)據(jù)挖掘技術(shù)來(lái)分析他們的銷(xiāo)售紀(jì)錄，發(fā)現(xiàn)尿布和啤酒的銷(xiāo)售量之間存在相當(dāng)大的關(guān)聯(lián)性。經(jīng)過(guò)進(jìn)一步的調(diào)查，找到了產(chǎn)生這個(gè)現(xiàn)象的原因，在美國(guó)負(fù)責(zé)為孩子購(gòu)買(mǎi)尿布的年輕父親們，很多時(shí)候會(huì)順帶給自己買(mǎi)些啤酒，于是超市采取措施將尿布和啤酒放在一起，結(jié)果兩種產(chǎn)品的銷(xiāo)售量都得到了增長(zhǎng)。由此可見(jiàn)，數(shù)據(jù)爆炸時(shí)代，“商業(yè)智能”(BI)能夠摒棄企業(yè)的無(wú)知，為企業(yè)發(fā)展創(chuàng)造出巨大的價(jià)值。

另外，我們也應(yīng)了解在信息社會(huì)，信息并不是單一的，而是分為兩大類(lèi)：一類(lèi)信息為結(jié)構(gòu)化數(shù)據(jù)，如數(shù)字、符號(hào)；而另一類(lèi)信息無(wú)法用數(shù)字或統(tǒng)一的結(jié)構(gòu)表示，我們稱之為非結(jié)構(gòu)化數(shù)據(jù)。目前，隨著網(wǎng)絡(luò)技術(shù)的發(fā)展，特別是Internet和Intranet技術(shù)的飛快發(fā)展，非結(jié)構(gòu)化數(shù)據(jù)的數(shù)量日趨增大。據(jù)統(tǒng)計(jì)，現(xiàn)今企業(yè)中80%的數(shù)據(jù)是以非結(jié)構(gòu)化的形式存在，如WEB頁(yè)面、技術(shù)文檔、電子郵件等。因此，商業(yè)智能除了要面對(duì)結(jié)構(gòu)化數(shù)據(jù)外，更多時(shí)候是需要處理無(wú)序的非結(jié)構(gòu)化數(shù)據(jù)。于是，一個(gè)從非結(jié)構(gòu)化文本信息中獲取用戶感興趣或有用信息的技術(shù)——“文本挖掘技術(shù)”發(fā)展起來(lái)，人們常說(shuō)的文本驅(qū)動(dòng)的商業(yè)智能，就是指的文本挖掘技術(shù)。文本挖掘是數(shù)據(jù)挖掘技術(shù)的分支，它能夠使人們從大量冗余的信息中迅速發(fā)現(xiàn)對(duì)自己有用的信息，并在一定程度上揭示信息與信息之間的關(guān)聯(lián)。有人說(shuō)文本挖掘是互聯(lián)網(wǎng)時(shí)代，繼門(mén)戶、搜索引擎和Web2.0之后最重要的技術(shù)之一，紐約時(shí)報(bào)甚至稱它為Web3.0。

文本挖掘作為人們挑戰(zhàn)信息爆炸式增長(zhǎng)與信息有效利用之間矛盾的重要武器，受到世界的廣泛認(rèn)可，目前國(guó)際上許多企業(yè)都在進(jìn)行文本挖掘技術(shù)的研究，并取得一定成績(jī)。但在我國(guó)，文本挖掘技術(shù)發(fā)展歷史比較短。某一業(yè)內(nèi)人士說(shuō)：“雖然我國(guó)文本挖掘技術(shù)的發(fā)展研究還處于初級(jí)階段，但想把國(guó)外的文本挖掘技術(shù)直接在我國(guó)進(jìn)行利用，可以說(shuō)是一件比較困難的事情，因?yàn)橹形呐c西方文字是不同。如我要搜索‘可樂(lè)’一詞，國(guó)外的技術(shù)可能會(huì)把‘太可樂(lè)了’等眾多不相關(guān)詞語(yǔ)搜索出來(lái)。”

比較而言，國(guó)內(nèi)本土的軟件企業(yè)在發(fā)展文本挖掘技術(shù)上卻具有先天優(yōu)勢(shì)，如在中文分詞，習(xí)慣用語(yǔ)理解等方面。另外，做好中文文本挖掘技術(shù)還需要超越絕大多數(shù)現(xiàn)有搜索引擎所采用的單純基于特定關(guān)鍵字的查找匹配方式，而要在一定程度上去實(shí)現(xiàn)基于語(yǔ)義的搜索，即無(wú)論文中出現(xiàn)的是“筆記本”，“本本”，還是 “l(fā)aptop”，當(dāng)我們?cè)诓檎摇肮P記本”時(shí)，這篇文章都應(yīng)該作為結(jié)果返回。但滿足以上要求并不是容易的事情，它需要在數(shù)據(jù)庫(kù)和信息檢索技術(shù)等方面具有長(zhǎng)期的積累、也需要算法的高效，系統(tǒng)的穩(wěn)定和可擴(kuò)展性。

據(jù)了解，在數(shù)量眾多的擁有文本挖掘技術(shù)的廠商中，北京拓爾思（TRS）信息技術(shù)股份有限公司是國(guó)內(nèi)第一家擁有真正實(shí)用化文本挖掘產(chǎn)品的企業(yè)。TRS文本挖掘技術(shù)有效結(jié)合自然語(yǔ)言處理技術(shù)、統(tǒng)計(jì)分析和機(jī)器學(xué)習(xí)技術(shù)及語(yǔ)言知識(shí)庫(kù)，實(shí)現(xiàn)了中文文本挖掘技術(shù)的商業(yè)化應(yīng)用，并在外交部、新華社、寶鋼等多家政府、媒體和企業(yè)項(xiàng)目中經(jīng)受住了海量信息和復(fù)雜環(huán)境的考驗(yàn)。

根據(jù)2007-2008中國(guó)商業(yè)智能市場(chǎng)發(fā)展報(bào)告統(tǒng)計(jì)：從全球范圍來(lái)看，商業(yè)智能已經(jīng)成為最具有前景的信息化領(lǐng)域；從國(guó)內(nèi)來(lái)看，商業(yè)智能是企業(yè)信息化中最重要的組成部分。但在我國(guó)，文本挖掘畢竟是一門(mén)新興的前沿技術(shù)，還有諸多問(wèn)題等待研究、解決，同時(shí)也需要對(duì)人才進(jìn)行儲(chǔ)備。為了推動(dòng)文本挖掘技術(shù)整體水平向前發(fā)展；尋找、發(fā)現(xiàn)、選拔更多的高知識(shí)型專業(yè)挖掘技術(shù)人才投入到文本挖掘事業(yè)中來(lái)，為文本挖掘技術(shù)的前進(jìn)提供有力的后續(xù)保障，“數(shù)據(jù)挖掘研究院”聯(lián)手 TRS公司共同舉辦了“2008 TRS杯中國(guó)首屆文本挖掘智能大賽”。

商業(yè)智能提升了企業(yè)對(duì)市場(chǎng)的洞察力，文本挖掘成就了商業(yè)智能在互聯(lián)時(shí)代的重要作用。不難想象，隨著社會(huì)經(jīng)濟(jì)的快速發(fā)展，文本挖掘技術(shù)的應(yīng)用將越來(lái)越廣泛，商業(yè)智能也必將成為企業(yè)在競(jìng)爭(zhēng)中克敵制勝的有效武器之一。這里，筆者衷心祝愿大賽的舉辦取得圓滿成功，同時(shí)也希望此賽事能真正為致力于文本挖掘事業(yè)的人們搭起一座溝通的橋梁和相互學(xué)習(xí)的園地，讓中文文本挖掘技術(shù)取得更快的進(jìn)步。（AMT）