合同管理系統(tǒng)數(shù)據(jù)拆分方案

申請(qǐng)免費(fèi)試用、咨詢電話：400-8352-114

　　一、背景

　　中國(guó)聯(lián)通合同系統(tǒng)從2010年開(kāi)始建設(shè)，2010年12月份正式開(kāi)始使用，作為一個(gè)全國(guó)使用的集中制建設(shè)系統(tǒng)，用于支撐聯(lián)通全國(guó)用戶的合同管理，進(jìn)行合同的全生命周期管理。從各省歷史數(shù)據(jù)遷移到各省每年新增的數(shù)據(jù)使用情況來(lái)看，系統(tǒng)關(guān)鍵數(shù)據(jù)量以及非常大，目前數(shù)據(jù)庫(kù)文件大概2T，系統(tǒng)使用人數(shù)規(guī)模為30w人，每天待辦數(shù)量達(dá)到20w，系統(tǒng)并發(fā)達(dá)到1000。在這四年中，合同系統(tǒng)的容量經(jīng)歷了每年指數(shù)級(jí)的提升，如果不進(jìn)行數(shù)據(jù)庫(kù)拆分，這么大的開(kāi)銷單靠一臺(tái)物理db完全是支撐不了的，所以必須對(duì)單點(diǎn)的物理db進(jìn)行拆分。

　　二、數(shù)據(jù)拆分常用的方法

　　Sharding的基本思想就要把一個(gè)數(shù)據(jù)庫(kù)切分成多個(gè)部分放到不同的數(shù)據(jù)庫(kù)(server)上，從而緩解單一數(shù)據(jù)庫(kù)的性能問(wèn)題;不太嚴(yán)格的講，對(duì)于海量數(shù)據(jù)的數(shù)據(jù)庫(kù)，如果是因?yàn)楸矶喽鴶?shù)據(jù)多，這時(shí)候適合使用垂直拆分，即把關(guān)系緊密(比如同一業(yè)務(wù)模塊)的表切分出來(lái)放在一個(gè)物理db上;如果表并不多，但每張表的數(shù)據(jù)非常多，這時(shí)候適合水平拆分，即把表的數(shù)據(jù)按某種規(guī)則(比如按ID散列)拆分到多個(gè)物理db上;當(dāng)然，現(xiàn)實(shí)中更多是這兩種情況混雜在一起，這時(shí)候需要根據(jù)實(shí)際情況做出選擇，也可能會(huì)綜合使用垂直與水平拆分，從而將原有數(shù)據(jù)庫(kù)切分成類似矩陣一樣可以無(wú)限擴(kuò)充的數(shù)據(jù)庫(kù)(server)陣列。

　　垂直拆分的最大特點(diǎn)就是規(guī)則簡(jiǎn)單，實(shí)施也更為方便，尤其適合各業(yè)務(wù)之間的耦合度非常低，相互影響很小，業(yè)務(wù)邏輯非常清晰的系統(tǒng)，也可以對(duì)故障進(jìn)行有效的隔離;在這種系統(tǒng)中，可以很容易做到將不同業(yè)務(wù)模塊所使用的表分拆到不同的數(shù)據(jù)庫(kù)中;根據(jù)不同的表來(lái)進(jìn)行拆分，對(duì)應(yīng)用程序的影響也更小，拆分規(guī)則也會(huì)比較簡(jiǎn)單清晰。

　　水平拆分更多的是解決db帶來(lái)的整體容量和性能問(wèn)題，對(duì)于表中的數(shù)據(jù)按照某一種規(guī)則拆分到不同的物理表或者物理db中，從而把應(yīng)用對(duì)數(shù)據(jù)庫(kù)的訪問(wèn)壓力分散到不同的db;其實(shí)本質(zhì)還是進(jìn)行分布式的部署架構(gòu)思路;但是這種規(guī)則拆分后的數(shù)據(jù)必須盡量達(dá)到平均，否則就失去的拆分的意義。

　　二、合同系統(tǒng)數(shù)據(jù)拆分方案

　　根據(jù)數(shù)據(jù)拆分的兩種方案，以及結(jié)合合同系統(tǒng)的實(shí)際業(yè)務(wù)數(shù)據(jù)分布情況，合同系統(tǒng)適合使用水平拆分，即把系統(tǒng)的表按照某種規(guī)則拆分到多個(gè)物理db中，以此解決數(shù)據(jù)庫(kù)的性能瓶頸，提高系統(tǒng)的整體性能。經(jīng)過(guò)實(shí)際的分析，合同系統(tǒng)各省直接的業(yè)務(wù)相對(duì)獨(dú)立，除了省與集團(tuán)之間存在數(shù)據(jù)交互，各省之間數(shù)據(jù)相對(duì)獨(dú)立，不存在數(shù)據(jù)的交互，根據(jù)這種情況，合同系統(tǒng)適合根據(jù)省份編碼把系統(tǒng)數(shù)據(jù)拆分至多個(gè)物理db中，以此來(lái)提高系統(tǒng)的整體性能。