集團(tuán)企業(yè)ERP數(shù)據(jù)集中系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

申請(qǐng)免費(fèi)試用、咨詢電話：400-8352-114

引言

集團(tuán)企業(yè)是現(xiàn)代市場(chǎng)經(jīng)濟(jì)發(fā)展到一定階段的必然產(chǎn)物。隨著中國(guó)經(jīng)濟(jì)的迅速發(fā)展和企業(yè)大規(guī)模的兼并重組。出現(xiàn)了一大批具有較強(qiáng)市場(chǎng)競(jìng)爭(zhēng)能力的大型集團(tuán)企業(yè)。這些企業(yè)是中國(guó)經(jīng)濟(jì)發(fā)展的中堅(jiān)力量，掌握著國(guó)家的經(jīng)濟(jì)命脈。

集團(tuán)企業(yè)一般具有下述特征：

(1)以產(chǎn)權(quán)關(guān)系為紐帶，以母子公司為主體;

(2)金字塔式的層級(jí)組織結(jié)構(gòu);

(3)地域分散的多法人聯(lián)合體。

ERP軟件是現(xiàn)代管理技術(shù)和現(xiàn)代信息技術(shù)結(jié)合的產(chǎn)物，是集團(tuán)企業(yè)實(shí)現(xiàn)信息集成、有效規(guī)范管理的重要使能技術(shù)。目前的集團(tuán)企業(yè)ERP主要有兩種系統(tǒng)結(jié)構(gòu)：集中式和分布式。集中式ERP一般是基于B/S結(jié)構(gòu)的多層應(yīng)用系統(tǒng)，具有管理維護(hù)簡(jiǎn)單、便于監(jiān)控下屬企業(yè)、數(shù)據(jù)集中、管理集中以及便于數(shù)據(jù)挖掘分析等優(yōu)點(diǎn)，相比分布式系統(tǒng)其缺點(diǎn)是可靠性相對(duì)較低，系統(tǒng)一旦出現(xiàn)問題會(huì)影響整個(gè)企業(yè)集團(tuán)的業(yè)務(wù)運(yùn)行。與集中式的B/S結(jié)構(gòu)的應(yīng)用系統(tǒng)相比，分布式的C/S系統(tǒng)可充分利用客戶機(jī)強(qiáng)大的處理能力，應(yīng)用功能更加豐富，運(yùn)行效率也較高，但其缺點(diǎn)是數(shù)據(jù)相對(duì)分散，難以在整個(gè)集團(tuán)企業(yè)范圍內(nèi)實(shí)現(xiàn)無重復(fù)、無沖突的共享，集團(tuán)管理層也很難站在整個(gè)集團(tuán)的高度對(duì)數(shù)據(jù)進(jìn)行深度挖掘分析以作為輔助決策的依據(jù)。

從上面的分析可見，在分布式系統(tǒng)的基礎(chǔ)上實(shí)現(xiàn)數(shù)據(jù)集中可較好的結(jié)合二者的優(yōu)點(diǎn)，解決分布和集中的矛盾，使集團(tuán)企業(yè)ERP在保持較高可靠性和運(yùn)行效率的基礎(chǔ)上實(shí)現(xiàn)數(shù)據(jù)集中，更好的發(fā)揮ERP對(duì)企業(yè)管理的提升作用。為實(shí)現(xiàn)此目的，筆者設(shè)計(jì)了一個(gè)基于通訊中間件的數(shù)據(jù)集中應(yīng)用系統(tǒng)，該系統(tǒng)主要運(yùn)行于ERP的后臺(tái)數(shù)據(jù)庫服務(wù)器上。

1、總體設(shè)計(jì)

erp系統(tǒng)的數(shù)據(jù)可分為三類：公有基礎(chǔ)字典、私有基礎(chǔ)字典、一般業(yè)務(wù)數(shù)據(jù)。公有基礎(chǔ)字典需要在整個(gè)企業(yè)集團(tuán)內(nèi)共享，比如集團(tuán)企業(yè)的組織機(jī)構(gòu)信息、集團(tuán)公有會(huì)計(jì)科目、集團(tuán)公有報(bào)表格式和公式等。公有基礎(chǔ)字典是集團(tuán)實(shí)現(xiàn)規(guī)范管理的基礎(chǔ)，在整個(gè)集團(tuán)企業(yè)內(nèi)保持一致，一般由集團(tuán)總部統(tǒng)一維護(hù)，然后統(tǒng)一下發(fā)到各下屬單位，除非總部授權(quán)，一般下屬單位沒有維護(hù)權(quán)限。私有基礎(chǔ)字典是需要各分支單位根據(jù)其業(yè)務(wù)特點(diǎn)和經(jīng)營(yíng)范圍自行維護(hù)的基礎(chǔ)數(shù)據(jù)，比如本單位組織結(jié)構(gòu)、人員信息、私有會(huì)計(jì)科目、往來單位、設(shè)備、BOM、工藝路線、能力參數(shù)等信息。私有基礎(chǔ)字典雖然由各單位自行維護(hù)，但需要遵守集團(tuán)統(tǒng)一的編碼和命名規(guī)范。同時(shí)部分私有基礎(chǔ)字典也可能被其他單位所引用，也需要在整個(gè)集團(tuán)內(nèi)共享。公有基礎(chǔ)字典和私有基礎(chǔ)字典的共同特點(diǎn)是數(shù)據(jù)量小、更新頻率低。一般業(yè)務(wù)數(shù)據(jù)是企業(yè)日常經(jīng)營(yíng)活動(dòng)所產(chǎn)生的數(shù)據(jù)，比如企業(yè)的生產(chǎn)、物流、財(cái)務(wù)等信息。這類數(shù)據(jù)的特點(diǎn)是數(shù)據(jù)量大、更新頻率高，除在有經(jīng)濟(jì)往來的單位外，一般不需要在各同級(jí)的單位之間共享，但需要匯總到上級(jí)單位和集團(tuán)總部進(jìn)行數(shù)據(jù)挖掘和數(shù)據(jù)分析，以作為決策支持的依據(jù)。

針對(duì)不同的數(shù)據(jù)，系統(tǒng)采用不同的數(shù)據(jù)復(fù)制策略。對(duì)于公有基礎(chǔ)字典數(shù)據(jù)采用只下載不上傳的策略;對(duì)于需要全局共享的私有基礎(chǔ)字典定時(shí)的上傳和下載，以保持?jǐn)?shù)據(jù)在整個(gè)集團(tuán)的一致性，對(duì)不需要全局共享的私有基礎(chǔ)數(shù)據(jù)處理方法等同于一般業(yè)務(wù)數(shù)據(jù);對(duì)業(yè)務(wù)數(shù)據(jù)一般采取只上傳不下載的策略，有業(yè)務(wù)往來的單位之間采用定點(diǎn)傳輸?shù)姆绞綄?shí)現(xiàn)數(shù)據(jù)共享。對(duì)于部分業(yè)務(wù)數(shù)據(jù)比如物流、庫存等數(shù)據(jù)，需要通過廣域網(wǎng)的方式到其他單位查詢相關(guān)數(shù)據(jù)，如果這種異地請(qǐng)求過于頻繁，將會(huì)嚴(yán)重影響數(shù)據(jù)庫服務(wù)器的處理性能和業(yè)務(wù)處理的響應(yīng)時(shí)間，因此對(duì)庫存等部分業(yè)務(wù)數(shù)據(jù)也采用全局復(fù)制的方式，即在所有數(shù)據(jù)庫服務(wù)器之間進(jìn)行同步復(fù)制。

系統(tǒng)還采用了通訊中間件以實(shí)現(xiàn)地域分散的各子(分)公司之間以及他們與集團(tuán)總部的通訊。通訊中間件可采用IBM的MQ消息中間件或國(guó)內(nèi)廠商的一些成熟產(chǎn)品。通訊中間件運(yùn)行于系統(tǒng)中所有的數(shù)據(jù)庫服務(wù)器和部分進(jìn)行業(yè)務(wù)處理的微機(jī)上，其作用是屏蔽硬件和網(wǎng)絡(luò)傳輸機(jī)制以及操作系統(tǒng)的差異，為軟件系統(tǒng)間的通信建立一個(gè)基于命名服務(wù)的虛擬網(wǎng)絡(luò)。

根據(jù)集團(tuán)企業(yè)呈典型的樹狀結(jié)構(gòu)的組織機(jī)構(gòu)特點(diǎn)，對(duì)每個(gè)子(分)公司給予邏輯上統(tǒng)一的上下級(jí)節(jié)點(diǎn)編碼，不同單位之間的數(shù)據(jù)復(fù)制只針對(duì)其直接上下級(jí)節(jié)點(diǎn)進(jìn)行，這樣逐級(jí)進(jìn)行，最終在全網(wǎng)內(nèi)實(shí)現(xiàn)數(shù)據(jù)復(fù)制。在增加一個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)時(shí)，只需按統(tǒng)一的編碼規(guī)則對(duì)其進(jìn)行編碼，在接入網(wǎng)絡(luò)后，即可實(shí)現(xiàn)對(duì)該節(jié)點(diǎn)的復(fù)制。

對(duì)于某些特定業(yè)務(wù)，比如統(tǒng)計(jì)查詢，如果涉及到對(duì)海量數(shù)據(jù)的處理，直接通過前臺(tái)軟件來處理可能需要很長(zhǎng)的時(shí)間，因此有必要利用服務(wù)器強(qiáng)大的處理能力，根據(jù)具體需要對(duì)數(shù)據(jù)進(jìn)行一定的預(yù)處理(包括及時(shí)或定時(shí)處理)得到一些中間處理結(jié)果，這樣有利于縮短系統(tǒng)對(duì)這些特定業(yè)務(wù)的響應(yīng)時(shí)間。

2、系統(tǒng)實(shí)現(xiàn)技術(shù)

數(shù)據(jù)集中系統(tǒng)的實(shí)現(xiàn)技術(shù)主要包括兩方面：數(shù)據(jù)報(bào)文的組成和數(shù)據(jù)復(fù)制方法。

2.1、數(shù)據(jù)報(bào)文

數(shù)據(jù)報(bào)文格式的定義對(duì)數(shù)據(jù)集中程序的編碼和維護(hù)起著至關(guān)重要的作用，它決定了對(duì)數(shù)據(jù)的打包和解包的方式以及對(duì)數(shù)據(jù)處理的各個(gè)方面。

在報(bào)文的壓縮和加密方面，系統(tǒng)將直接利用通訊中間件提供的壓縮機(jī)制和安全管理功能。數(shù)據(jù)加密是通過某種算法對(duì)數(shù)據(jù)進(jìn)行編碼防止信息被非法獲取，比較常用的方法都是基于復(fù)雜的算法，通過密鑰來對(duì)進(jìn)行數(shù)據(jù)加密，主要的算法有DESTriple、DES、RC2/RC4/RC5、RSA等。

在報(bào)文格式方面，由于ERP中需要復(fù)制業(yè)務(wù)數(shù)據(jù)類型較多，有大量的基礎(chǔ)數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù)在各分支機(jī)構(gòu)數(shù)據(jù)庫服務(wù)器之間進(jìn)行復(fù)制，因此有必要對(duì)報(bào)文格式采用統(tǒng)一的編碼規(guī)則，以便于數(shù)據(jù)集中系統(tǒng)中報(bào)文處理模塊的維護(hù)。

下面對(duì)報(bào)文格式中各個(gè)部分作用加以詳細(xì)說明：

(1)業(yè)務(wù)類型：指明報(bào)文的業(yè)務(wù)類型，它決定了對(duì)哪一個(gè)數(shù)據(jù)表進(jìn)行操作，由4個(gè)字節(jié)構(gòu)成：第一個(gè)字節(jié)：表示子系統(tǒng)編號(hào)，如：①生產(chǎn)系統(tǒng);②物流系統(tǒng);③財(cái)務(wù)系統(tǒng);④人事系統(tǒng)等。第二個(gè)字節(jié)：表示子系統(tǒng)中的業(yè)務(wù)類編號(hào)，如：①公有基礎(chǔ)字典;②私有基礎(chǔ)字典;③一般業(yè)務(wù)數(shù)據(jù)。第三、四兩個(gè)字節(jié)：表示子系統(tǒng)中的某種業(yè)務(wù)類中具體數(shù)據(jù)類型的編號(hào)：0l一50為需要全網(wǎng)復(fù)制的數(shù)據(jù);51—70為逐級(jí)向上復(fù)制的數(shù)據(jù);71—80為需要逐級(jí)向下復(fù)制的數(shù)據(jù);81—99為定點(diǎn)復(fù)制的數(shù)據(jù)。

例如，如果報(bào)文頭為1301，則說明報(bào)文數(shù)據(jù)為生產(chǎn)系統(tǒng)中的需要全網(wǎng)復(fù)制的業(yè)務(wù)數(shù)據(jù)中某個(gè)數(shù)據(jù)表的編號(hào)。

(2)消息類型：指明報(bào)文內(nèi)容是需要復(fù)制的原始數(shù)據(jù)信息還是返回的確認(rèn)信息，用以表明對(duì)報(bào)文的處理方式，由一個(gè)字節(jié)構(gòu)成：

s：表示需要復(fù)制的原始數(shù)據(jù)信息(Source)。

R：表示返回確認(rèn)信息(Resu]t)，指數(shù)據(jù)接收方對(duì)成功處理的數(shù)據(jù)返回?cái)?shù)據(jù)發(fā)送方的確認(rèn)信息。

數(shù)據(jù)集中系統(tǒng)在通信環(huán)節(jié)中采用了消息中間件，在進(jìn)行數(shù)據(jù)復(fù)制的過程中，大致需要經(jīng)過以下環(huán)節(jié)：數(shù)據(jù)提取一數(shù)據(jù)打包一調(diào)用中間件通訊函數(shù)發(fā)送消息一數(shù)據(jù)接收方中間件接收到消息一后臺(tái)守護(hù)進(jìn)程從中間件消息隊(duì)列中檢索到消息一數(shù)據(jù)解包一保存數(shù)據(jù)一返回確認(rèn)信息一發(fā)送方接收并處理確認(rèn)信息。在上述環(huán)節(jié)中任一環(huán)節(jié)出現(xiàn)錯(cuò)誤就會(huì)導(dǎo)致復(fù)制的失敗，其最終表現(xiàn)為對(duì)數(shù)據(jù)的復(fù)制沒有得到確認(rèn)，必須x,l-相應(yīng)的數(shù)據(jù)進(jìn)行重新復(fù)制。因此，在數(shù)據(jù)接收方處理數(shù)據(jù)后，對(duì)處理不成功的數(shù)據(jù)就沒有必要返回確認(rèn)信息，因?yàn)閿?shù)據(jù)的復(fù)制沒有收到確認(rèn)信息，必然會(huì)重新復(fù)制。

(3)操作類型：指明對(duì)報(bào)文進(jìn)行操作的類型，由1個(gè)字節(jié)構(gòu)成。yj,-為以下幾種類型：I：表示插入操作(Insert)，指新增一條新的數(shù)據(jù)信息。

U：表示更新操作(Update)，指更新原有的一條數(shù)據(jù)信息。

D：表示刪除操作(Delete)，指刪除原有的一條數(shù)據(jù)信息。

(4)報(bào)文長(zhǎng)度：指明報(bào)文的總長(zhǎng)度，由6個(gè)字節(jié)構(gòu)成。即能標(biāo)識(shí)的最大報(bào)文長(zhǎng)度為999.999K字節(jié)。

(5)記錄數(shù)：指明報(bào)文中的總記錄數(shù)，由2個(gè)字節(jié)構(gòu)成。

增加該部分內(nèi)容主要是為了便于系統(tǒng)解包模塊的處理：可以根據(jù)該信息很容易地從報(bào)文中分離出各條單項(xiàng)記錄數(shù)據(jù)。每個(gè)報(bào)文最多能包含99條記錄。如果報(bào)文包含BINARY、IMAGE和TEXT數(shù)據(jù)類型，由于這種數(shù)據(jù)信息量一般較大，所以每個(gè)報(bào)文只包含一條記錄。雖然可以不包含這部分內(nèi)容，但為了報(bào)文格式的統(tǒng)一，仍予以保留，只是其內(nèi)容恒為“01”。

(6)報(bào)文數(shù)據(jù)：包含報(bào)文中的有效數(shù)據(jù)。具有以下特點(diǎn)：

(1)報(bào)文數(shù)據(jù)按字節(jié)順序存儲(chǔ)。

(2)每條記錄前包含6個(gè)字節(jié)，用來表示該記錄的實(shí)際長(zhǎng)度。因此，每條記錄的最大長(zhǎng)度為999.999K字節(jié)。

對(duì)BINARY、IMAGE和TEXT等BLOB數(shù)據(jù)類型而言，不能也不必用4個(gè)字節(jié)來表示其長(zhǎng)度，但為了報(bào)文格式的統(tǒng)一，仍予以保留，只是其內(nèi)容恒為“0000”。如果解包程序檢測(cè)到記錄數(shù)為1且記錄長(zhǎng)度為“0000”，即可知該記錄包含BLOB數(shù)據(jù)類型。

2.2、數(shù)據(jù)復(fù)制方法

為了實(shí)現(xiàn)數(shù)據(jù)的高效、安全、完整的復(fù)制，根據(jù)業(yè)務(wù)類型的特點(diǎn)，采用以下方式：

(1)針對(duì)每個(gè)需要復(fù)制的數(shù)據(jù)表建立一個(gè)任務(wù)分發(fā)表;

(2)用觸發(fā)器適時(shí)生成分發(fā)任務(wù);

(3)用守護(hù)進(jìn)程定時(shí)或定點(diǎn)對(duì)分發(fā)表中的分發(fā)任務(wù)進(jìn)行分發(fā)。

2.2.1、任務(wù)分發(fā)表

由于絕大多數(shù)數(shù)據(jù)都需進(jìn)行多路分發(fā)，即需要分發(fā)到多個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)，而且對(duì)各節(jié)點(diǎn)的分發(fā)不可能一次性地分發(fā)成功，很可能只是部分分發(fā)成功，因此必須跟蹤每條信息對(duì)每個(gè)節(jié)點(diǎn)的分發(fā)狀態(tài)。同時(shí)為了減少對(duì)原數(shù)據(jù)表的操作量(大部分業(yè)務(wù)數(shù)據(jù)表的數(shù)據(jù)量較大，如果經(jīng)常對(duì)原數(shù)據(jù)表進(jìn)行掃描，將嚴(yán)重影響數(shù)據(jù)庫的性能)，針對(duì)每個(gè)需要進(jìn)行多路分發(fā)的數(shù)據(jù)表建立一個(gè)任務(wù)分發(fā)表，在任務(wù)分發(fā)表中存放原數(shù)據(jù)表的全部字段信息，并增加一個(gè)機(jī)構(gòu)節(jié)點(diǎn)標(biāo)識(shí)字段，表示需要對(duì)哪些目標(biāo)單位進(jìn)行分發(fā)。任務(wù)表中應(yīng)包含需要分發(fā)的節(jié)點(diǎn)信息和數(shù)據(jù)信息。數(shù)據(jù)集中系統(tǒng)直接從任務(wù)分發(fā)表中按節(jié)點(diǎn)標(biāo)識(shí)分組提取分發(fā)信息并進(jìn)行打包發(fā)送。為了統(tǒng)一操作，對(duì)任務(wù)分發(fā)表采用統(tǒng)一的命名規(guī)范，即任務(wù)分發(fā)表的表名統(tǒng)一由原數(shù)據(jù)表的表名加上后綴“-RW”構(gòu)成。

2.2.2、分發(fā)任務(wù)的形成和任務(wù)分發(fā)

任務(wù)分發(fā)表中存放著所有需要進(jìn)行分發(fā)的數(shù)據(jù)信息，因此，如何正確形成分發(fā)任務(wù)是整個(gè)復(fù)制過程中非常重要的一個(gè)環(huán)節(jié)。在設(shè)計(jì)中采用的方法是通過觸發(fā)器來產(chǎn)生分發(fā)任務(wù)的，它建立在插入操作(Insert)和更新操作(Update)基礎(chǔ)之上。

觸發(fā)器通過以下步驟確定需要對(duì)哪些節(jié)點(diǎn)產(chǎn)生分發(fā)并生成分發(fā)任務(wù)表：

(1)獲取本地?cái)?shù)據(jù)庫服務(wù)器通訊中間件節(jié)點(diǎn)名稱;

(2)通過本地節(jié)點(diǎn)名稱獲取上下級(jí)節(jié)點(diǎn)名稱。如果本地機(jī)構(gòu)代碼等于上級(jí)機(jī)構(gòu)代碼，則說明該節(jié)點(diǎn)為頂級(jí)節(jié)點(diǎn)，觸發(fā)器將不對(duì)上級(jí)節(jié)點(diǎn)產(chǎn)生分發(fā)信息。

(3)觸發(fā)器根據(jù)所操作的數(shù)據(jù)需要復(fù)制的范圍(全網(wǎng)、向上、向下、定點(diǎn)復(fù)制)生成相應(yīng)的記錄到任務(wù)分發(fā)表。

2.2.3、數(shù)據(jù)復(fù)制流程

數(shù)據(jù)復(fù)制流程包括數(shù)據(jù)分發(fā)處理流程和數(shù)據(jù)接收處理流程，流程圖如下：

(1)數(shù)據(jù)分發(fā)處理流程圖

數(shù)據(jù)復(fù)制前應(yīng)首先設(shè)定固定的開始時(shí)間和輪循次數(shù)，開始時(shí)間一般設(shè)在零點(diǎn)，從而減輕數(shù)據(jù)復(fù)制對(duì)業(yè)務(wù)系統(tǒng)的影響。達(dá)到設(shè)定的開始H,1間后，系統(tǒng)開始檢索分發(fā)任務(wù)表，如果分發(fā)任務(wù)表存在需要分發(fā)的數(shù)據(jù)并且尚未達(dá)到設(shè)定的輪循次數(shù)的上限，系統(tǒng)則按分發(fā)目的地址檢索出分發(fā)信息并按報(bào)文格式進(jìn)行打包分發(fā)。如果沒有分發(fā)任務(wù)或超過輪循次數(shù)的上限則結(jié)束數(shù)據(jù)分發(fā)流程等待下次開始時(shí)間。

(2)數(shù)據(jù)接收處理流程圖

數(shù)據(jù)接收端程序?yàn)橐缓笈_(tái)守護(hù)進(jìn)程，當(dāng)守護(hù)進(jìn)程檢測(cè)到通訊中間件發(fā)過來的數(shù)據(jù)報(bào)文時(shí)，首先提取報(bào)文頭并根據(jù)報(bào)文頭確定報(bào)文類型、報(bào)文長(zhǎng)度等信息，從而調(diào)用相應(yīng)的報(bào)文處理模塊。如果消息類型是接收端數(shù)據(jù)更新成功后發(fā)過來的確認(rèn)信息，則刪除分發(fā)任務(wù)表中已經(jīng)發(fā)送成功的數(shù)據(jù)并等待新的數(shù)據(jù)報(bào)文。如果消息類型是需要復(fù)制的原始數(shù)據(jù)，則調(diào)用數(shù)據(jù)更新模塊將數(shù)據(jù)報(bào)文中的數(shù)據(jù)逐條更新到相應(yīng)的數(shù)據(jù)庫表，如果更新成功則生成確認(rèn)信息并將確認(rèn)信息打包成數(shù)據(jù)報(bào)文發(fā)送回?cái)?shù)據(jù)發(fā)送端，出現(xiàn)異常更新不成功則放棄該報(bào)文，數(shù)據(jù)發(fā)送端在沒有收到確認(rèn)消息的情況下會(huì)重新發(fā)送數(shù)據(jù)，直到成功。

3、結(jié)束語

分布式集團(tuán)企業(yè)ERP數(shù)據(jù)集中系統(tǒng)可實(shí)現(xiàn)集團(tuán)公司總部與下屬公司的ERP軟件數(shù)據(jù)復(fù)制，以保持它們之間數(shù)據(jù)的一致性和完整性;另外，針對(duì)海量數(shù)據(jù)查詢業(yè)務(wù)，系統(tǒng)還提供一定的預(yù)處理功能，以提高查詢效率。在分布式系統(tǒng)的基礎(chǔ)上實(shí)現(xiàn)數(shù)據(jù)集中可較好的解決分布和集中的矛盾，使集團(tuán)企業(yè)ERP在保持較高可靠性和高運(yùn)行效率的基礎(chǔ)上實(shí)現(xiàn)數(shù)據(jù)集中、應(yīng)用集中、管理集中，更好的發(fā)揮ERP作為企業(yè)管理信息平臺(tái)的作用。