網(wǎng)格環(huán)境下的數(shù)據(jù)庫系統(tǒng)

申請免費(fèi)試用、咨詢電話：400-8352-114

數(shù)據(jù)庫技術(shù)和其他計(jì)算機(jī)技術(shù)相結(jié)合，能夠產(chǎn)生新的研究領(lǐng)域。例如，數(shù)據(jù)庫技術(shù)和面向?qū)ο蠹夹g(shù)相結(jié)合就產(chǎn)生了面向?qū)ο髷?shù)據(jù)庫;數(shù)據(jù)庫技術(shù)和網(wǎng)格技術(shù)相結(jié)合也就產(chǎn)生一個(gè)新的研究內(nèi)容，稱之為網(wǎng)格數(shù)據(jù)庫。網(wǎng)格數(shù)據(jù)庫當(dāng)前的主要研究內(nèi)容包括三個(gè)方面：網(wǎng)格數(shù)據(jù)庫管理系統(tǒng)、網(wǎng)格數(shù)據(jù)庫集成和支持新的網(wǎng)格應(yīng)用。

網(wǎng)格數(shù)據(jù)庫管理系統(tǒng)

網(wǎng)格提供一個(gè)平臺，這個(gè)平臺支持系統(tǒng)化的身份鑒別和授權(quán)、資源發(fā)現(xiàn)、數(shù)據(jù)傳輸、進(jìn)程創(chuàng)建和調(diào)度，以及跨異構(gòu)平臺的動(dòng)態(tài)綁定。在網(wǎng)格提供的這些功能的基礎(chǔ)上，可以構(gòu)造一個(gè)安全可靠、具有自主計(jì)算能力的高性能網(wǎng)格數(shù)據(jù)庫管理系統(tǒng)。網(wǎng)格數(shù)據(jù)庫管理系統(tǒng)最終將成為網(wǎng)格上的一種重要資源，提供數(shù)據(jù)管理服務(wù)。

在構(gòu)建網(wǎng)格數(shù)據(jù)庫管理系統(tǒng)方面，第一步的工作是提供一個(gè)中間件，將數(shù)據(jù)庫管理系統(tǒng)包裝成為網(wǎng)格服務(wù)，以便網(wǎng)格應(yīng)用存取網(wǎng)格數(shù)據(jù)庫。這種做法的好處是，對已有的數(shù)據(jù)庫管理系統(tǒng)基本上不需要做什么改動(dòng)。

進(jìn)一步的工作是擴(kuò)展已有的數(shù)據(jù)庫管理系統(tǒng)，讓它直接利用網(wǎng)格提供的功能來實(shí)現(xiàn)分布式的數(shù)據(jù)庫和相關(guān)的網(wǎng)格服務(wù)。下面是一些擴(kuò)展已有數(shù)據(jù)庫管理系統(tǒng)時(shí)可做的工作：

●在網(wǎng)格上，用戶只需要登錄一次，就可以使用網(wǎng)格上所有可用的資源。網(wǎng)格數(shù)據(jù)庫管理系統(tǒng)需要支持網(wǎng)格中這種一致性的身份鑒別和授權(quán)機(jī)制。

●很多網(wǎng)格應(yīng)用程序在提交任務(wù)給數(shù)據(jù)庫管理系統(tǒng)后，需要收到一個(gè)任務(wù)完成的通知，解決這種訂閱/發(fā)布問題需要結(jié)合網(wǎng)格數(shù)據(jù)庫管理系統(tǒng)的觸發(fā)器機(jī)制和網(wǎng)格中的通知服務(wù)。

●在網(wǎng)格中，查詢結(jié)果可以被緩存以便傳送給第三方，這意味著，在一個(gè)不確定的時(shí)間內(nèi)，網(wǎng)格數(shù)據(jù)庫管理系統(tǒng)必須保留結(jié)果，然后利用網(wǎng)格數(shù)據(jù)傳輸機(jī)制傳送查詢結(jié)果到第三方。

●在網(wǎng)格中，分布式查詢處理可以利用網(wǎng)格的資源發(fā)現(xiàn)機(jī)制了解網(wǎng)絡(luò)的狀態(tài)、獲得合適的資源來運(yùn)行分布式查詢或存儲中間結(jié)果。

●網(wǎng)格數(shù)據(jù)庫管理系統(tǒng)應(yīng)提供資源預(yù)留功能，以便參與網(wǎng)格中的進(jìn)程調(diào)度。

●網(wǎng)格數(shù)據(jù)庫管理系統(tǒng)應(yīng)該能為網(wǎng)格記賬和支付標(biāo)準(zhǔn)提供必要的信息，以便用戶為資源的使用付費(fèi)。

有些網(wǎng)格問題不是通過簡單地?cái)U(kuò)展已有的數(shù)據(jù)庫管理系統(tǒng)就能夠解決的。下面舉幾個(gè)例子來說明這一點(diǎn)：

●網(wǎng)格當(dāng)中計(jì)算和數(shù)據(jù)資源之間耦合得很緊密，這對于數(shù)據(jù)庫的查詢優(yōu)化是一個(gè)挑戰(zhàn)。計(jì)算任務(wù)在哪里執(zhí)行、需不需要遷移、數(shù)據(jù)怎樣存放、存放在哪里、如何調(diào)度在數(shù)據(jù)上的操作和計(jì)算任務(wù)、短期優(yōu)化還是長期優(yōu)化等等，都需要在查詢優(yōu)化時(shí)給予一個(gè)整體的、多角度的考慮。

●在網(wǎng)格中，當(dāng)數(shù)據(jù)的規(guī)模增長到一定的程度時(shí)，傳輸在這些數(shù)據(jù)上的計(jì)算代碼會(huì)比傳輸所有數(shù)據(jù)更為經(jīng)濟(jì)。數(shù)據(jù)上的計(jì)算比數(shù)據(jù)庫支持的數(shù)據(jù)查詢要復(fù)雜，它可以生成大量的中間結(jié)果，需要大量的處理器和在多個(gè)網(wǎng)格結(jié)點(diǎn)間傳輸大量的數(shù)據(jù)。對于數(shù)據(jù)上的計(jì)算還需要進(jìn)行監(jiān)控。當(dāng)前的數(shù)據(jù)庫管理系統(tǒng)并未準(zhǔn)備好成為這種大型計(jì)算的宿主，也不支持所需要的監(jiān)控接口。

●傳統(tǒng)的數(shù)據(jù)庫管理系統(tǒng)是一個(gè)復(fù)雜的系統(tǒng)，運(yùn)行時(shí)作為一個(gè)整體消耗大量的資源。網(wǎng)格數(shù)據(jù)庫管理系統(tǒng)最好能由一些組件構(gòu)成，這些組件可以根據(jù)需要來組合完成數(shù)據(jù)庫管理系統(tǒng)的部分或者全部功能。這樣做的好處除了可以降低資源消耗，更重要的是，使得在整個(gè)系統(tǒng)規(guī)模的基礎(chǔ)上優(yōu)化使用數(shù)據(jù)庫資源成為可能。

●在網(wǎng)格中使用注冊的方法來發(fā)布和查找資源。數(shù)據(jù)庫里面存儲有大量的元數(shù)據(jù)，手工注冊這么多元數(shù)據(jù)是不可行的，但是又如何來完成自動(dòng)注冊呢?自動(dòng)注冊的問題不在于注冊這些元數(shù)據(jù)到網(wǎng)格中，而在于注冊時(shí)如何保證這些元數(shù)據(jù)能為第三方所理解。這個(gè)問題也是網(wǎng)格數(shù)據(jù)庫集成時(shí)需要解決的問題。

網(wǎng)格數(shù)據(jù)庫集成

因?yàn)榫W(wǎng)格的主要目標(biāo)是支持在共享資源上的協(xié)同工作，所以網(wǎng)格數(shù)據(jù)庫集成是目前網(wǎng)格數(shù)據(jù)管理的研究熱點(diǎn)。網(wǎng)格數(shù)據(jù)庫集成就是使用兩個(gè)或多個(gè)網(wǎng)格數(shù)據(jù)庫中的信息，并使用這些信息構(gòu)建一個(gè)大的數(shù)據(jù)庫。

目前有三種網(wǎng)格數(shù)據(jù)庫集成策略：

●虛擬數(shù)據(jù)庫 虛擬數(shù)據(jù)庫是一個(gè)聯(lián)邦數(shù)據(jù)庫，它只有一個(gè)聯(lián)邦模式，所有的用戶都無法覺察到多個(gè)獨(dú)立的數(shù)據(jù)庫存在的事實(shí)。虛擬數(shù)據(jù)庫在概念上是受歡迎的，但是難以實(shí)現(xiàn)。在構(gòu)造虛擬數(shù)據(jù)庫時(shí)，需要考慮以下幾種透明性：異構(gòu)透明性、命名透明性、屬主和費(fèi)用透明性、并行透明性和分布透明性。

●定制集成 這種方式是指由應(yīng)用程序自己完成數(shù)據(jù)庫集成。例如，在有的科學(xué)應(yīng)用程序中，開發(fā)人員自己找到相關(guān)的數(shù)據(jù)源，然后將集成任務(wù)劃分為查詢、要執(zhí)行的程序、中間數(shù)據(jù)源的構(gòu)建、顯式的數(shù)據(jù)傳輸和數(shù)據(jù)變換，以及存儲結(jié)果等等。網(wǎng)格數(shù)據(jù)庫管理系統(tǒng)應(yīng)該提供對這種集成方式的支持，使之降低成本、減少時(shí)間耗費(fèi)和錯(cuò)誤的發(fā)生。

●增量集成 虛擬數(shù)據(jù)庫是一個(gè)理想目標(biāo)，定制集成又過于注重細(xì)節(jié)，增量集成居于兩者之間。在增量集成中，開發(fā)人員無須完成集成的每一個(gè)細(xì)節(jié)，高級的數(shù)據(jù)存取和集成組件可以自動(dòng)完成一些后期的集成步驟。

元數(shù)據(jù)管理在網(wǎng)格數(shù)據(jù)庫集成時(shí)扮演著關(guān)鍵的角色。網(wǎng)格數(shù)據(jù)庫中與集成有關(guān)的元數(shù)據(jù)包括這樣幾類：技術(shù)元數(shù)據(jù)定義數(shù)據(jù)源所在的位置、物理數(shù)據(jù)的結(jié)構(gòu)和組織形式、數(shù)據(jù)的存取方法和傳輸方式、以及數(shù)據(jù)的歷史和屬主等等;上下文元數(shù)據(jù)定義命名方式、術(shù)語和本體，它遵循約定的語法和語義，可以提高數(shù)據(jù)的質(zhì)量和可靠性;派生元數(shù)據(jù)定義由其他數(shù)據(jù)派生的數(shù)據(jù)的含義和上下文組成;映射元數(shù)據(jù)定義上下文元數(shù)據(jù)定義間以及上下文元數(shù)據(jù)和技術(shù)元數(shù)據(jù)間的等價(jià)性。

元數(shù)據(jù)在數(shù)據(jù)庫集成時(shí)引發(fā)了很多問題。例如，不同的數(shù)據(jù)庫系統(tǒng)具有不同的元數(shù)據(jù)模型，標(biāo)準(zhǔn)的元數(shù)據(jù)定義方法肯定有利于網(wǎng)格數(shù)據(jù)庫集成。目前，全球網(wǎng)格論壇數(shù)據(jù)領(lǐng)域的DFDL(Data Format Description Language)工作組在做的一件事，就是定義一種基于XML的語言來給出數(shù)據(jù)庫中元數(shù)據(jù)的標(biāo)準(zhǔn)表示。而正在研究中的語義網(wǎng)格，也將能有助于解決涉及元數(shù)據(jù)語義方面的問題。

支持新的網(wǎng)格應(yīng)用

應(yīng)用能有力地推動(dòng)技術(shù)的發(fā)展。研究對于數(shù)據(jù)庫領(lǐng)域來說相對比較新的網(wǎng)格應(yīng)用可以有力地推動(dòng)數(shù)據(jù)庫技術(shù)的發(fā)展。數(shù)據(jù)流處理、信息檢索和科學(xué)數(shù)據(jù)分析等都是網(wǎng)格應(yīng)用。其他的網(wǎng)格應(yīng)用還有網(wǎng)格數(shù)據(jù)挖掘、網(wǎng)格計(jì)算機(jī)集成制造系統(tǒng)、網(wǎng)格數(shù)字圖書館等。目前國內(nèi)外開展的大部分的網(wǎng)格項(xiàng)目都是網(wǎng)格應(yīng)用項(xiàng)目，而且多數(shù)是服務(wù)于科學(xué)研究的需要。網(wǎng)格應(yīng)用會(huì)給傳統(tǒng)的數(shù)據(jù)庫技術(shù)帶來一些新的問題，下面以網(wǎng)格上的科學(xué)研究(也被稱為e-Science)來說明這一點(diǎn)。

在網(wǎng)格上的科學(xué)研究中，對數(shù)據(jù)的使用有兩個(gè)重要的方面：一方面，數(shù)據(jù)是數(shù)據(jù)挖掘和假設(shè)檢驗(yàn)的信息源;另一方面，共享數(shù)據(jù)是科學(xué)家們協(xié)作的基礎(chǔ)。網(wǎng)格環(huán)境下的數(shù)據(jù)庫管理系統(tǒng)要想成功地服務(wù)于科學(xué)研究，就必須充分考慮科學(xué)研究活動(dòng)中數(shù)據(jù)管理的特殊需求。以下是一些例子：

●歸檔 科學(xué)研究中的研究結(jié)論是在特定時(shí)間、特定狀態(tài)的科學(xué)數(shù)據(jù)庫的基礎(chǔ)上得到的。如果要驗(yàn)證一個(gè)科學(xué)結(jié)論，就需要將科學(xué)數(shù)據(jù)庫的狀態(tài)恢復(fù)到得出結(jié)論時(shí)的特定狀態(tài)。因此，需要研究支持快速恢復(fù)所有先前狀態(tài)的歸檔方法。

●注解 注解關(guān)聯(lián)新的數(shù)據(jù)和已有的數(shù)據(jù)，它可以自動(dòng)產(chǎn)生，例如自動(dòng)記錄數(shù)據(jù)的派生關(guān)系，也可以由科研人員手工添加以記載他們對數(shù)據(jù)的理解。無論以哪種方式生成注解，帶來的問題都是注解需要以合適的方式進(jìn)行管理以便共享。

●新的存儲結(jié)構(gòu)和索引 科學(xué)研究中要處理海量的科學(xué)數(shù)據(jù)，而且在檢索數(shù)據(jù)時(shí)多使用近似匹配，需要研究能夠充分利用網(wǎng)格優(yōu)點(diǎn)的新的科學(xué)數(shù)據(jù)存儲和索引方法。一個(gè)簡單的例子是，在計(jì)算能力大的網(wǎng)格結(jié)點(diǎn)上構(gòu)造索引，然后將這些索引分發(fā)到計(jì)算能力較小的網(wǎng)格結(jié)點(diǎn)上以便做并行分布式數(shù)據(jù)查詢。

四個(gè)重點(diǎn)研究趨勢

分析國內(nèi)外所做的與網(wǎng)格環(huán)境下數(shù)據(jù)庫系統(tǒng)有關(guān)的研究，有以下幾個(gè)研究趨勢值得引起關(guān)注：

● 將制定數(shù)據(jù)庫存取與集成的標(biāo)準(zhǔn)。網(wǎng)格非常強(qiáng)調(diào)遵循標(biāo)準(zhǔn)。做與網(wǎng)格相關(guān)的研究，也應(yīng)該樹立標(biāo)準(zhǔn)先行的觀念。雖然網(wǎng)格數(shù)據(jù)庫集成所涉及的問題并未完全解決，但是目前已經(jīng)有了網(wǎng)格數(shù)據(jù)庫存取與集成的標(biāo)準(zhǔn)草案，而且根據(jù)這個(gè)草案實(shí)現(xiàn)了實(shí)際可用的軟件系統(tǒng)。雖然不排除標(biāo)準(zhǔn)草案不能最終成為標(biāo)準(zhǔn)的可能性，但是很多相關(guān)的研究已經(jīng)以這個(gè)標(biāo)準(zhǔn)草案為基礎(chǔ)展開了。

● 將更多地研究網(wǎng)格數(shù)據(jù)庫管理系統(tǒng)。目前實(shí)現(xiàn)網(wǎng)格數(shù)據(jù)庫存取和集成采用的是中間件的方法，這是一種簡捷的方法，預(yù)計(jì)未來數(shù)據(jù)庫管理系統(tǒng)將會(huì)更直接地支持網(wǎng)格。我們認(rèn)為，將來的網(wǎng)格數(shù)據(jù)庫管理系統(tǒng)有三個(gè)特點(diǎn)：高性能、全共享和零管理。高性能是基于網(wǎng)格強(qiáng)大的并行計(jì)算能力。全共享是指不僅要共享網(wǎng)格數(shù)據(jù)庫管理系統(tǒng)管理的數(shù)據(jù)資源，還要共享網(wǎng)格數(shù)據(jù)庫管理系統(tǒng)本身，即網(wǎng)格數(shù)據(jù)庫管理系統(tǒng)本身也成為具有良好互操作性的網(wǎng)格資源。零管理也就是自主計(jì)算，網(wǎng)格數(shù)據(jù)庫管理系統(tǒng)將充分適應(yīng)網(wǎng)格動(dòng)態(tài)和自治的特點(diǎn)，無需人工干預(yù)安全可靠地運(yùn)行。

●繼續(xù)發(fā)掘網(wǎng)格應(yīng)用的新需求。網(wǎng)格上的科學(xué)研究有很多的數(shù)據(jù)管理問題需要解決，其中有的問題不是簡單地將數(shù)據(jù)裝入數(shù)據(jù)庫就能解決，它們是新的問題，能夠推動(dòng)數(shù)據(jù)庫技術(shù)的發(fā)展。另外，將原來非網(wǎng)格的應(yīng)用移植到網(wǎng)格環(huán)境下時(shí)，也會(huì)出現(xiàn)一些新的問題，對于這些問題也應(yīng)該去分析和研究。

●在網(wǎng)格環(huán)境下開展數(shù)據(jù)庫新技術(shù)的研究。有一些數(shù)據(jù)庫新技術(shù)的研究，如果放到網(wǎng)格環(huán)境下來做，會(huì)激發(fā)新的問題解決思路。中國人民大學(xué)數(shù)據(jù)庫與知識工程研究所展開了網(wǎng)格環(huán)境下數(shù)據(jù)庫信息檢索新技術(shù)的研究，目前已經(jīng)取得了部分研究成果。他們的這種研究工作具有很強(qiáng)的創(chuàng)新性。(techtarget)