在線零售站點(diǎn)自適應(yīng)和商業(yè)智能的發(fā)現(xiàn)

申請(qǐng)免費(fèi)試用、咨詢電話：400-8352-114

1 引言

電子商務(wù)已經(jīng)被稱為是Internet最重要的應(yīng)用之一www正以其簡(jiǎn)單易用性熹得越來越多的用戶，為用戶和商家提供了雙向交流、”虛擬“交易的理想空間在電子商務(wù)環(huán)境下一個(gè)聯(lián)機(jī)零售商在Web上開展電子商務(wù)的業(yè)務(wù)模型如圖戶二。其中市場(chǎng)數(shù)據(jù)存儲(chǔ)商品信息和用戶的交易信息；Web結(jié)構(gòu)數(shù)據(jù)存儲(chǔ)Web頁和Web的結(jié)構(gòu)。服務(wù)數(shù)據(jù)存儲(chǔ)訪問日志。

一個(gè)標(biāo)準(zhǔn)的在線零售網(wǎng)站的分類設(shè)計(jì)結(jié)構(gòu)如圖2所示其中：每一個(gè)節(jié)點(diǎn)表示一個(gè)頁面。N節(jié)點(diǎn)表示導(dǎo)航頁或分類頁；C節(jié)點(diǎn)表示內(nèi)容頁或購買貞。網(wǎng)站的結(jié)構(gòu)是介于樹形和網(wǎng)狀層次結(jié)構(gòu)之間的一種結(jié)構(gòu)。網(wǎng)站的設(shè)計(jì)者會(huì)盡量考慮到達(dá)一個(gè)購買頁存在多個(gè)路徑；而且從物品的分類結(jié)構(gòu)匕說。很多物品屬于多個(gè)類，如電子書。既屬于書籍類又屬于電子產(chǎn)品規(guī)模越大的站點(diǎn)。其結(jié)構(gòu)越復(fù)雜。

開展在線零售業(yè)務(wù)的一個(gè)主要向題就是；用戶面對(duì)廠家提供的大量產(chǎn)品信息，不知如何有效提??；而廠家面對(duì)大量的用戶，不知他們的興趣和要求所在，因而不知如何調(diào)整其服務(wù)方式和產(chǎn)品結(jié)構(gòu)：

1.全體用戶對(duì)零售商品的興趣不一致。對(duì)物品的興趣存在著一個(gè)概率分布，即全體用戶對(duì)某些物品的興趣要遠(yuǎn)遠(yuǎn)大于另一些物品。但Weh站點(diǎn)Web頁面結(jié)構(gòu)的分類層次設(shè)汁必須嚴(yán)格遵循商品的分類結(jié)構(gòu)，因?yàn)槿绻皇沁@樣，一般用戶就無法訪向。于是這兩者之間就存在一種矛盾這種矛盾所導(dǎo)致的結(jié)果是大量用戶不得不瀏覽許多不相關(guān)的頁面，進(jìn)人Web站點(diǎn)的很多層次最終才能找到自己所需要的商品。解決這個(gè)問題的一種思路是將圖1上的導(dǎo)航頁（N頁）變成導(dǎo)航內(nèi)容頁（NC頁）。這樣用戶就可以在N頁上直接購買自己需要的商品。

2. 許多用戶購買的物品類似于啤酒和尿布這樣的物品—屬于數(shù)據(jù)挖掘中的經(jīng)典問題，即在頁面結(jié)構(gòu)分類上兩者相距很遠(yuǎn)。但很多顧客會(huì)同時(shí)購買干是這些用戶就不得不反復(fù)進(jìn)入退出多個(gè)Web頁，來完成購買對(duì)于這樣具有關(guān)聯(lián)購買的物品集，要做的就是如何自動(dòng)發(fā)現(xiàn)關(guān)聯(lián)物品集。并且自動(dòng)

建立包含它們的導(dǎo)航內(nèi)容頁，以幫助用戶訪問。

所以需要建立一個(gè)模型和相應(yīng)的算法在各導(dǎo)航頁上標(biāo)注購買物品快捷清單。即經(jīng)過算法處理后，N頁要自動(dòng)變成NC頁，即導(dǎo)航助買頁。原有的N頁之問的導(dǎo)航關(guān)系不被破壞。NC頁將滿足大部分用戶的需求，使他們不需訪問過多的層次或盡量不需繞路而進(jìn)行購買。

解決這個(gè)問題的方法是根據(jù)在線零售站點(diǎn)的Web訪問到推薦點(diǎn)通過關(guān)聯(lián)規(guī)則發(fā)現(xiàn)算法從用戶的交易數(shù)據(jù)中，發(fā)現(xiàn)關(guān)聯(lián)購買集合；在推薦點(diǎn)上標(biāo)注這些商品及其關(guān)聯(lián)購買集合；當(dāng)處理完所有的關(guān)聯(lián)購買集合后，通過竟?fàn)巵頉Q定出現(xiàn)在導(dǎo)骯頁面上的物品集，最終將導(dǎo)航頁合理地變成導(dǎo)航購買頁。這樣全體用戶對(duì)這樣的站點(diǎn)進(jìn)行訪問，他們的總的訪問遍歷教就會(huì)減小于是通過這樣的過程卜這個(gè)站點(diǎn)就可以自動(dòng)根據(jù)用戶的訪向購買情況，進(jìn)行自適應(yīng)。

文中首次提出將數(shù)據(jù)挖掘的技術(shù)應(yīng)用于電子商務(wù)的環(huán)境下。以發(fā)現(xiàn)市場(chǎng)智能。挖擁的對(duì)象不僅包括日志、Web頁面，也包括市場(chǎng)數(shù)據(jù)。文中還給出了在電子商務(wù)環(huán)境下挖擁的一個(gè)總的框架。但他們的方法依然局限在傳統(tǒng)的挖掘手段。本文所述方法是建立在其基礎(chǔ)之上，更好地發(fā)現(xiàn)并應(yīng)用了市場(chǎng)智能。不僅應(yīng)用傳統(tǒng)的挖掘手段（如關(guān)聯(lián)規(guī)則發(fā)現(xiàn)算法）而且新定義和建立了自適應(yīng)模型進(jìn)行Web站點(diǎn)結(jié)構(gòu)的有限智能調(diào)整，即使站點(diǎn)能夠根據(jù)群體用戶的訪問而自適應(yīng)。

文中首次給出Web挖掘的定義，并且給出一個(gè)關(guān)于Web訪向信息挖掘的系統(tǒng)WEBMINER。文中提到的思路是通過對(duì)Web站點(diǎn)的日志進(jìn)行處理[ss7將數(shù)據(jù)組織成傳統(tǒng)的數(shù)據(jù)挖掘方法能夠處理的事務(wù)數(shù)據(jù)形式，然后利用傳統(tǒng)的數(shù)據(jù)挖掘方法（如傳統(tǒng)的關(guān)聯(lián)規(guī)則發(fā)現(xiàn)算法）進(jìn)行處理。其得出的挖掘結(jié)果也是傳統(tǒng)的數(shù)據(jù)挖掘結(jié)果，并沒有根據(jù)挖掘的結(jié)果調(diào)整站點(diǎn)的組織結(jié)構(gòu)。找們的方法是在這種方法的墓礎(chǔ)上。不但得到挖掘的結(jié)果而且把挖掘的結(jié)果用于改進(jìn)在線零售站點(diǎn)的組織結(jié)構(gòu)，以利于群體用戶的訪問。

Web Log Miner方法用OLAP技術(shù)來實(shí)現(xiàn)對(duì)Web日志數(shù)據(jù)的預(yù)測(cè)、分類、時(shí)間序列分析。其分析的結(jié)果沒有用于Web站點(diǎn)的重新設(shè)計(jì)，而我們的方法是要主要用于站點(diǎn)的自動(dòng)重新設(shè)計(jì)，且不破壞原有的分類結(jié)構(gòu)，即自適應(yīng)在文中，這些方法的目的是自動(dòng)定制不同的用戶訪問界面。其特點(diǎn)是：1）W eb站點(diǎn)或代理動(dòng)態(tài)地把一些增強(qiáng)的當(dāng)前可視的Web頁面給用戶即定制個(gè)性化的頁面；2）頁面上的信息針對(duì)的是基于某種模型而得到的特定的某一個(gè)，或某一類用戶；3）該棋型基于該用戶或該類用戶以前的訪問方式。對(duì)比來說，找們的方法1）是一種優(yōu)化方法；2）周期性、離線地進(jìn)行挖掘；3）挖掘的對(duì)象是全體用戶的交互行為，挖掘的是全體用戶的共同訪問購買興趣，挖掘的結(jié)果面向全體用戶；

4）不需要特定的某一個(gè)或某一類用戶的信息。文中用聚類方法實(shí)現(xiàn)Web站點(diǎn)對(duì)外部訪問的自適應(yīng)。它通過PageGather聚類方法的結(jié)果：索引頁，來幫助用戶進(jìn)行訪間。這種方法使用聚類挖掘，在一個(gè)Web站點(diǎn)上尋找相關(guān)頁面的集合。這種相關(guān)頁面集合是根據(jù)總休用戶的相關(guān)訪問來決定的。采用的手段是創(chuàng)立相似矩陣，矩陣的元素是根據(jù)訪間日志所得出的頁面之間的共同被訪問的頻度。然后在這個(gè)矩陣中尋找每一個(gè)聚類，根據(jù)每一個(gè)聚類創(chuàng)立一個(gè)索引頁。這種方法自適應(yīng)的基本元素是侮個(gè)Web頁面，而且算法需要建立大量的索引頁；而在本文方法中，自適應(yīng)的基本元素是商品。方法本身不破壞Web站點(diǎn)原有的分類結(jié)構(gòu)，不會(huì)形成附加的索引頁。被提升的內(nèi)容，自然而然地出現(xiàn)在它們應(yīng)該出現(xiàn)的地方。

在零售業(yè)務(wù)中，客戶對(duì)商品的興趣和對(duì)商品的購買是兩個(gè)不同的概念。在傳統(tǒng)的零售業(yè)務(wù)中，只能記錄對(duì)商品的購買信息，而無法直接得到用戶對(duì)商品的興趣信息。而對(duì)比傳統(tǒng)的零售業(yè)務(wù)在在線零售站點(diǎn)中，用戶訪問信息可以記錄更為詳細(xì)的客戶對(duì)商品的訪問，因而通過挖掘可以得到用戶對(duì)商品的興趣知識(shí)一旦服務(wù)方了解到顧客的興趣知識(shí)和購買知識(shí)，那么就可以采用相應(yīng)的商業(yè)促銷手段把潛在的用戶轉(zhuǎn)變?yōu)閷?shí)際的用戶。本文給出一些關(guān)于商業(yè)智能的定義以幫助服務(wù)方發(fā)現(xiàn)用戶的瀏覽興趣。并給出相應(yīng)的OLAP方法以發(fā)現(xiàn)這些商業(yè)智能以幫助服務(wù)方更好地開展商業(yè)服務(wù)。和文中所述方法相比本文方法將用戶的訪問興趣與用戶的購買行為分開。利用OLAP技術(shù)進(jìn)行挖掘。

2 數(shù)據(jù)準(zhǔn)備

2.1 挖掘?qū)ο?/P>

挖掘的對(duì)象存在于圖1所示的后臺(tái)數(shù)據(jù)存儲(chǔ)層之中。具體分為：

1）用戶的訪問日志（在圖1的服務(wù)數(shù)據(jù)中）。服務(wù)器上的日志格式遵循W3C標(biāo)準(zhǔn)；2）用戶的交易紀(jì)錄即傳統(tǒng)的交易事務(wù)數(shù)據(jù)（在圖1的市場(chǎng)數(shù)據(jù)中）。交易數(shù)據(jù)記錄用戶對(duì)物品的購買信息。

2.2 生成用戶訪問任務(wù)

進(jìn)行挖掘時(shí)。首先要將一段時(shí)間用戶的訪向日志組織成用戶訪問事務(wù)數(shù)據(jù)。設(shè)L為用戶訪問日志，其中的一個(gè)項(xiàng)包括用戶的IP地址l.巾，用戶的標(biāo)識(shí)符1.ui d.被存取頁的URL地址1.ur l.以及存取訪問的時(shí)間time,

這里C是一個(gè)固定的時(shí)間窗。對(duì)Log進(jìn)行處理，找到每一個(gè)事務(wù)，然后就可以對(duì)這些事務(wù)進(jìn)行關(guān)聯(lián)規(guī)則發(fā)現(xiàn)。尋找訪問事務(wù)的算法為

1.對(duì)日志進(jìn)行預(yù)處理。

2.根據(jù)睡一個(gè)訪問者IF,劃分日志即在Log中找到每一個(gè)訪問者的訪問記錄集。

3.對(duì)訪問者的訪間記錄集。根據(jù)c進(jìn)行分割。找到每一個(gè)訪問者的每一次訪問記錄集，這時(shí)，每一個(gè)訪問者的每一次訪同記錄集就構(gòu)成r一個(gè)訪問事務(wù)

4.最終按時(shí)間排序的所有訪問事務(wù)構(gòu)成我們進(jìn)行挖掘的基礎(chǔ)。

處理完日志后我們就有了用戶訪問事務(wù)集T;此時(shí)，對(duì)了進(jìn)行處理，把用戶每次發(fā)生購買行為和由此而進(jìn)行的路徑訪間提取出來，形成用戶訪間購買事務(wù)集其中每一條記錄不僅包括每一個(gè)用戶的交易記錄而且也包括該用戶發(fā)生一次購買時(shí)，他對(duì)Web站點(diǎn)的訪問記錄即他的存取路徑3 在線。售站點(diǎn)的自適應(yīng)模型

在線零售自適應(yīng)模型荃于如下四種基本元素

1）物品為用戶購買的目標(biāo)。

2）頁面頁面本身分為導(dǎo)航頁、購買頁、導(dǎo)航購買頁每個(gè)頁面，或?qū)Ш劫徺I頁面包含一些物品一個(gè)物品可能出現(xiàn)在多個(gè)購買頁面，或?qū)Ш劫徺I頁面頁面中。

3）頁面之間的層次關(guān)系：這種層次關(guān)系反映出用戶購買一個(gè)物品至少需要訪問的頁面的個(gè)數(shù)。如果一個(gè)常被購買的

物品處于較低的層次。那么需要將其提升以減少這些用戶的訪間層次數(shù)。

4）用戶的訪問通過對(duì)用戶訪問狀況的挖捆?？梢缘玫饺后w用戶購買一個(gè)物品時(shí)所通過的每一個(gè)頁面的次數(shù)4 系統(tǒng)總的處理框架

整個(gè)系統(tǒng)按圖4所示結(jié)構(gòu)進(jìn)行處理在一個(gè)T時(shí)間段內(nèi)，經(jīng)過群體用戶的訪問，會(huì)得到新的挖掘?qū)ο?，然后?zhí)行如下處理過程：

1）數(shù)據(jù)準(zhǔn)備：根據(jù)用戶訪問記錄和用戶交易記錄得到用戶訪問購買事務(wù)集TP,

2）關(guān)聯(lián)規(guī)則發(fā)現(xiàn)：在TP中尋找關(guān)聯(lián)物品集，

3）建立自適應(yīng)模型：根據(jù)用戶的訪問購買事務(wù)集TP和原有站點(diǎn)的拓?fù)浣Y(jié)構(gòu)在每一個(gè)節(jié)點(diǎn)4，

4）生成新的導(dǎo)航購買頁在每個(gè)節(jié)點(diǎn)上根據(jù)放置物品集和關(guān)聯(lián)物品集以及原有頁面的拓?fù)浣Y(jié)構(gòu)生成新的導(dǎo)航購買頁。

3 了結(jié)論以及將來的工作

開展在線零售業(yè)務(wù)存在的問題是群體用戶必須瀏覽許多不相關(guān)的頁面。才能最終找到自己所需要的商品。為了解決該問題，本文建立一個(gè)在線零售站點(diǎn)的自適應(yīng)模塑。在在線零售站點(diǎn)中，服務(wù)方需要了解用戶的瀏覽興趣以把潛在的用戶轉(zhuǎn)變?yōu)閷?shí)際的用戶。本文給出相應(yīng)的利用OLAP發(fā)現(xiàn)商業(yè)智能的方法，以幫助服務(wù)方更好地開展有針對(duì)性的服務(wù)。

本文所述的自適應(yīng)方法本質(zhì)上是Web訪間信息挖掘中（WebUsageMlning）的一種推薦方法，即根據(jù)群體用戶對(duì)在線零售電子商務(wù)站點(diǎn)的訪向，在We卜站點(diǎn)上推薦根據(jù)對(duì)以前群體用戶的訪問興趣挖掘而得到的知識(shí)，以加速當(dāng)前群體用戶對(duì)站點(diǎn)的訪問效率。在該方法中，建立模型的訓(xùn)練過程較為簡(jiǎn)單。相應(yīng)的各個(gè)公式比較容易計(jì)算。該工作朝著建立完全自適應(yīng)的Web站點(diǎn)作出了貢獻(xiàn)：

1）分析了在線零售站點(diǎn)，用戶訪問時(shí)存在的冗余訪問問題并給出了解決這種間題的辦法，即建立網(wǎng)站的自適應(yīng)模

2）在校型中，對(duì)頻繁被購買商品通過放置策略和后退策略找到推薦點(diǎn)，通過關(guān)聯(lián)規(guī)則發(fā)現(xiàn)算法發(fā)現(xiàn)關(guān)聯(lián)購買集合；在推薦點(diǎn)上標(biāo)注這些商品及其關(guān)聯(lián)購買集合；最終將導(dǎo)骯頁合理地變成導(dǎo)航購買頁即站點(diǎn)可以自動(dòng)根據(jù)群體用戶的訪問購買情況進(jìn)行自適應(yīng)。

3）在模型中，關(guān)聯(lián)規(guī)則發(fā)現(xiàn)算法被合理地結(jié)合起來，可以發(fā)現(xiàn)并且解決在在線零售電子商務(wù)站點(diǎn)上依然存在的啤酒和尿布的問題。而且利用Web站點(diǎn)的優(yōu)點(diǎn)，可以更容易地解決這個(gè)向題

4）該方法完全是自動(dòng)的，不需要人工的干預(yù)。

在本文所述商業(yè)智能發(fā)現(xiàn)方法中?？梢园l(fā)現(xiàn)在傳統(tǒng)的零售業(yè)務(wù)中，無法直接得到用戶對(duì)商品的興趣信息所表征的興趣知識(shí)。那么結(jié)合傳統(tǒng)的晌買知識(shí)的發(fā)現(xiàn)一旦服務(wù)方了解這些知識(shí)，那么就可以采用相應(yīng)的商業(yè)促梢手段把潛在的用戶轉(zhuǎn)變?yōu)閷?shí)際的用戶。本文給出一些關(guān)于商業(yè)智能的定義以幫助服務(wù)方發(fā)現(xiàn)用戶的瀏覽興趣。并給出相應(yīng)的OLAP方法以發(fā)現(xiàn)這些商業(yè)智能。幫助服務(wù)方更好地開展商業(yè)服務(wù)。

我們進(jìn)一步的工作將不僅是web訪問信息挖掘中的推薦方法而且是預(yù)側(cè)方法。通過將這兩種方法結(jié)合起來。我們不但能夠在Web站點(diǎn)上推薦找們所發(fā)現(xiàn)的用戶的興趣，而且也將能夠預(yù)側(cè)用戶的興趣。結(jié)構(gòu)、群體用戶的訪問日志和群體用戶的交易記錄，建立網(wǎng)站的自適應(yīng)模型。在模型中。對(duì)頻繁被購買商品通過搜索算法找。（萬方數(shù)據(jù)）