裝修預(yù)算軟件seo優(yōu)化教程_中文分詞_中文分詞的方法（上）

申請(qǐng)免費(fèi)試用、咨詢電話：400-8352-114

中文分詞_中文分詞的方法（上）

   分詞是中文搜索引擎特有的步驟。搜索引擎存儲(chǔ)和處理頁面及用戶搜索都是以詞為基礎(chǔ)的。英文等語言單詞與單詞之間有空格分隔，搜索引擎索引程序可以直接把句子劃分為單詞的集合。而中文詞與詞之間沒有任何分隔符，一個(gè)句子中的所有字和詞都是連在一起的。搜索引擎必須首先分辨哪幾個(gè)字組成一個(gè)詞，哪些字本身就是一個(gè)詞。比如“減肥方法”將被分詞為“減肥”和“方法”兩個(gè)詞。
   中文分詞方法基本上有兩種，一種是基于詞典匹配，另一種是基于統(tǒng)計(jì)。
   基于詞典匹配的方法是指，將待分析的一段漢字與一個(gè)事先造好的詞典中的詞條進(jìn)行匹配，在待分析漢字串中掃描到詞典中已有的詞條則匹配成功，或者說切分出一個(gè)單詞。
   按照掃描方向，基于詞典的匹配法可以分為正向匹配和逆向匹配。按照匹配長(zhǎng)度優(yōu)先級(jí)的不同，又可以分為最大匹配和最小匹配。將掃描方向和長(zhǎng)度優(yōu)先混合，又可以產(chǎn)生正向最大匹配、逆向最大匹配等不同方法。
   詞典匹配方法計(jì)算簡(jiǎn)單，其準(zhǔn)確度在很大程度上取決于詞典的完整性和更新情況。
   基于統(tǒng)計(jì)的分詞方法指的是分析大量文字樣本，計(jì)算出字與字相鄰出現(xiàn)的統(tǒng)計(jì)概率，幾個(gè)字相鄰出現(xiàn)越多，就越可能形成一個(gè)單詞?；诮y(tǒng)計(jì)的方法的優(yōu)勢(shì)是對(duì)新出現(xiàn)的詞反應(yīng)更快速，也有利于消除歧義。
基于詞典匹配和基于統(tǒng)計(jì)的分詞方法各有優(yōu)劣，實(shí)際使用中的分詞系統(tǒng)都是混合使用兩種方法的，快速高效，又能識(shí)別生詞、新詞，消除歧義。
 

延伸閱讀：

裝修公司商業(yè)系統(tǒng)建設(shè)_營(yíng)銷技技巧_把握與客戶的關(guān)系
裝修公司商業(yè)系統(tǒng)建設(shè)_營(yíng)銷技技巧_贏得競(jìng)爭(zhēng)
裝修公司商業(yè)系統(tǒng)建設(shè)_洽談技巧
聯(lián)系QQ：2558628650      442699841