網(wǎng)格數(shù)據(jù)是計(jì)算機(jī)中以柵格結(jié)構(gòu)存貯的內(nèi)部數(shù)據(jù)。是掃描式數(shù)字化儀的直接產(chǎn)物，適用于屏幕顯示和行式打印輸出。在網(wǎng)格數(shù)據(jù)中，把研究范圍分成大小均勻的格網(wǎng)矩陣。存貯的信息可以是點(diǎn)、線、面實(shí)體，也可以是指向該單元有關(guān)屬性的指針。格網(wǎng)越小，越高， 但存貯量越大。因格網(wǎng)是有規(guī)則排列的，故實(shí)體的坐標(biāo)位置可隱含在格網(wǎng)的存儲(chǔ)地址中。網(wǎng)格數(shù)據(jù)便于數(shù)據(jù)處理、區(qū)域綜合分析和評(píng)價(jià)。與矢量數(shù)據(jù)相比，其軟件設(shè)計(jì)較簡(jiǎn)單，缺點(diǎn)是數(shù)據(jù)存儲(chǔ)量大，特別是稀疏的空間數(shù)據(jù)，要浪費(fèi)許多存儲(chǔ)單元。適用于數(shù)字地形模型，遙感圖像等信息的存儲(chǔ)。

數(shù)據(jù)管理的重要地位，不僅在處理海量數(shù)據(jù)的數(shù)據(jù)網(wǎng)格，在數(shù)據(jù)管理尤其是數(shù)據(jù)傳輸更是占據(jù)著不可撼動(dòng)的位置，而且它在計(jì)算網(wǎng)格和服務(wù)網(wǎng)格等領(lǐng)域也是至關(guān)重要的，數(shù)據(jù)以高效、可靠、方便地移動(dòng)和復(fù)制關(guān)系到整個(gè)系統(tǒng)的效率。

數(shù)據(jù)管理的主要功能包括：數(shù)據(jù)的訪問和控制，數(shù)據(jù)的拷貝和管理，以及與計(jì)算、網(wǎng)絡(luò)和存儲(chǔ)的協(xié)同調(diào)度。這些軟件或服務(wù)相輔相成，構(gòu)成了網(wǎng)格中不可或缺的數(shù)據(jù)管理部分。

2  數(shù)據(jù)傳輸——GridFTP協(xié)議

數(shù)據(jù)傳輸（data transmission）就是依照適當(dāng)?shù)囊?guī)程，經(jīng)過一條或多條鏈路，在數(shù)據(jù)源和數(shù)據(jù)宿之間傳送數(shù)據(jù)的過程。也表示借助信道上的信號(hào)將數(shù)據(jù)從一處送往另一處的操作。

在模擬和傳感器技術(shù)發(fā)展的推動(dòng)下，數(shù)據(jù)集規(guī)模已經(jīng)增長(zhǎng)到TB數(shù)量級(jí)，而且PB級(jí)的數(shù)據(jù)量將很快問世。位于日內(nèi)瓦的歐洲粒子研究中心(CERN)，目前正負(fù)電子對(duì)撞機(jī)(LEP)每年的數(shù)據(jù)是0.2~0.3TB，而幾年內(nèi)建成的緊湊μ介子螺線管(CMS)每年所產(chǎn)生的數(shù)據(jù)就將達(dá)到幾個(gè)PB。網(wǎng)格中現(xiàn)有的存儲(chǔ)系統(tǒng)如數(shù)量存儲(chǔ)系統(tǒng)、高性能存儲(chǔ)系統(tǒng)(DPSS、HPSS等)側(cè)重于實(shí)現(xiàn)快速傳送存儲(chǔ)設(shè)備和并行機(jī)或群聚計(jì)算機(jī)之間的龐大文件；而分布式文件系統(tǒng)（DFS）則側(cè)重于支持海量存儲(chǔ)與負(fù)載平衡，而這些系統(tǒng)間并不兼容。

訪問、分析和處理分布在不同邏輯位置、存儲(chǔ)系統(tǒng)上的數(shù)據(jù)，應(yīng)用程序要么選擇只支持某些存儲(chǔ)系統(tǒng)，要么使用多種方法來獲取不同存儲(chǔ)系統(tǒng)上的數(shù)據(jù)。若能提供一種在異構(gòu)系統(tǒng)上的公共互用層將對(duì)存儲(chǔ)和用戶雙方都非常有利，因此一個(gè)普通的、但擴(kuò)展性強(qiáng)的數(shù)據(jù)傳輸協(xié)議呼之欲出。這樣的機(jī)制比建立一個(gè)分層的客戶端或網(wǎng)關(guān)要好得多，可以避免性能上的損失和過大的復(fù)雜性。

Globus提出了GridFTP協(xié)議，該協(xié)議不僅擁有現(xiàn)今使用的數(shù)據(jù)傳輸協(xié)議的特點(diǎn)，還易于擴(kuò)展，支持更多的存儲(chǔ)系統(tǒng)。GridFTP基于FTP協(xié)議(因?yàn)镕TP是為廣泛和實(shí)用的IETF標(biāo)準(zhǔn)協(xié)議)，又有多個(gè)RFC標(biāo)準(zhǔn)定義了FTP及其擴(kuò)展，而且其中一些在網(wǎng)格環(huán)境中特別適用。下面將討論并比較當(dāng)前Internet和網(wǎng)格中依然存在的各種數(shù)據(jù)傳輸協(xié)議，并介紹Globus中GridFTP協(xié)議的實(shí)現(xiàn)和編程接口。

　2.1 協(xié)議比較

(1)FTP 是File Transfer Protocol（文件傳輸協(xié)議）的英文簡(jiǎn)稱，而中文簡(jiǎn)稱為“文傳協(xié)議”。用于Internet上的控制文件的雙向傳輸。同時(shí)，它也是一個(gè)應(yīng)用程序（Application）。用戶可以通過它把自己的PC機(jī)與世界各地所有運(yùn)行FTP協(xié)議的服務(wù)器相連，訪問服務(wù)器上的大量程序和信息。FTP的主要作用，就是讓用戶連接上一個(gè)遠(yuǎn)程計(jì)算機(jī)（這些計(jì)算機(jī)上運(yùn)行著FTP服務(wù)器程序）察看遠(yuǎn)程計(jì)算機(jī)有哪些文件，然后把文件從遠(yuǎn)程計(jì)算機(jī)上拷到本地計(jì)算機(jī)，或把本地計(jì)算機(jī)的文件送到遠(yuǎn)程計(jì)算機(jī)去。

(2)超文本傳輸協(xié)議(HTTP，HyperText Transfer Protocol)是互聯(lián)網(wǎng)上應(yīng)用為廣泛的一種網(wǎng)絡(luò)協(xié)議。所有的WWW文件都必須遵守這個(gè)標(biāo)準(zhǔn)。設(shè)計(jì)HTTP初的目的是為了提供一種發(fā)布和接收HTML頁面的方法。HTTP是一個(gè)客戶端和服務(wù)器端請(qǐng)求和應(yīng)答的標(biāo)準(zhǔn)（TCP）。客戶端是終端用戶，服務(wù)器端是網(wǎng)站。通過使用Web瀏覽器、網(wǎng)絡(luò)爬蟲或者其它的工具，客戶端發(fā)起一個(gè)到服務(wù)器上指定端口（默認(rèn)端口為80）的HTTP請(qǐng)求。（我們稱這個(gè)客戶端）叫用戶代理（user agent）。應(yīng)答的服務(wù)器上存儲(chǔ)著（一些）資源，比如HTML文件和圖像。（我們稱）這個(gè)應(yīng)答服務(wù)器為源服務(wù)器（origin server）。在用戶代理和源服務(wù)器中間可能存在多個(gè)中間層，比如代理，網(wǎng)關(guān)，或者隧道（tunnels）。盡管TCP/IP協(xié)議是互聯(lián)網(wǎng)上的應(yīng)用，HTTP協(xié)議并沒有規(guī)定必須使用它和（基于）它支持的層。 事實(shí)上，HTTP可以在任何其他互聯(lián)網(wǎng)協(xié)議上，或者在其他網(wǎng)絡(luò)上實(shí)現(xiàn)。HTTP只假定（其下層協(xié)議提供）可靠的傳輸，任何能夠提供這種保證的協(xié)議都可以被其使用。

(3)BBFTP是一個(gè)傳輸大型文件的FTP軟件，同時(shí)它也是基于FTP協(xié)議的一種新的數(shù)據(jù)傳輸協(xié)議。它能在高性能終端個(gè)人電腦之間可靠地傳輸和存儲(chǔ)數(shù)據(jù)，尤其用來優(yōu)化傳輸大型文件(超過2GB)，因?yàn)锽BFTP實(shí)現(xiàn)了RFC1323(TCP高性能擴(kuò)展)中定義的“大窗口”，使之更適合傳輸大文件，而不適合用來傳輸小文件。

以上協(xié)議或軟件部分重要特征的對(duì)比。

下面就從表1中的對(duì)比說明GridFTP協(xié)議適應(yīng)網(wǎng)格環(huán)境多樣性的特點(diǎn)。

(1)網(wǎng)格大都運(yùn)行在廣域網(wǎng)環(huán)境中，這就需要更高的帶寬。使用多個(gè)TCP流(即并行傳輸)可以更充分地利用并提高傳輸帶寬。而GridFTP中修改了RETR指令以使它可以指定TCP流的數(shù)目，同時(shí)引入了EBLOCK(Extended Block)模式(包括8位標(biāo)志符、64位長(zhǎng)度、64位偏移量和數(shù)據(jù))，以支持并行傳輸、部分傳輸和帶狀傳輸。

(2)窗口大小是TCP/IP中獲取帶寬的關(guān)鍵參數(shù)，針對(duì)不同的網(wǎng)格環(huán)境、文件大小和文件集類型應(yīng)該設(shè)置不同的值。使用的TCP緩沖區(qū)/窗口大小可以有效地提高數(shù)據(jù)傳輸性能。GridFTP增加的新指令SBUF和ABUF，就是分別用來手工指定和使用某種算法自動(dòng)調(diào)整TCP緩沖區(qū)/窗口大小。

(3)安全是網(wǎng)格計(jì)算的重點(diǎn)和難點(diǎn)。Globus中GSI(Grid Security Infrastructure)使用PKI、X.25和SSL作為整個(gè)安全系統(tǒng)的基礎(chǔ)，分為授權(quán)、雙重、私有通信、安全私鑰、代理和單一系統(tǒng)登錄部分，建立了非集中管理的、包括多個(gè)不同組織的安全系統(tǒng)。而GridFTP支持GSI和Kerberos，以滿足用戶控制不同層次上的數(shù)據(jù)完整性及保密性設(shè)定的要求。

(4)大規(guī)模的分布系統(tǒng)擁有大量的數(shù)據(jù)集，在存儲(chǔ)服務(wù)器間進(jìn)行第三方控制的傳輸是很有必要的。用戶可以啟動(dòng)和監(jiān)控2臺(tái)服務(wù)器間的數(shù)據(jù)傳輸，為使用多點(diǎn)資源提供了保障，而且無需進(jìn)行數(shù)據(jù)中轉(zhuǎn)。GridFTP在原有FTP標(biāo)準(zhǔn)第三方傳輸?shù)墓δ苌咸砑恿薌SSAPI(Generic Security Service API）安全機(jī)制。

許多時(shí)候網(wǎng)格計(jì)算只需要文件中的部分?jǐn)?shù)據(jù)或者一個(gè)數(shù)據(jù)子集，F(xiàn)TP和HTTP協(xié)議只支持從某一偏移量開始到整個(gè)文件末的傳輸，而GridFTP使用ERET、ESTO等命令可支持部分文件傳輸。同時(shí)網(wǎng)格的特殊性也使得連接狀況較難預(yù)測(cè)，因此傳輸中斷后的恢復(fù)必不可少，而GridFTP保留了FTP協(xié)議中的斷點(diǎn)續(xù)傳功能。

GridFTP除了具有以上在普通數(shù)據(jù)傳輸機(jī)制上的性能和功能改進(jìn)外，還有如下特性：

帶狀（Striped）傳輸使用多個(gè)TCP流來傳輸分布在多個(gè)服務(wù)器上的數(shù)據(jù)，因?yàn)樵诰W(wǎng)格中數(shù)據(jù)往往會(huì)分布在多存儲(chǔ)點(diǎn)上，這樣就可以大大增加客戶端傳輸帶寬，提高速率。GridFTP使用擴(kuò)展的RETR指令，并有分區(qū)和分塊2種策略來進(jìn)行帶狀傳輸，SPAS、SPOR命令可分別用來設(shè)置被動(dòng)和主動(dòng)模式。

2.2 實(shí)現(xiàn)、性能及編程接口

(1)實(shí)現(xiàn)。Globus項(xiàng)目在GridFTP協(xié)議基礎(chǔ)上實(shí)現(xiàn)了GridFTP服務(wù)器端、GridFTP客戶端、API函數(shù)庫以及一系列的相關(guān)工具。的GT4中GridFTP服務(wù)器已不再基于wuftpd，而是重寫了代碼，實(shí)現(xiàn)了控制通道和數(shù)據(jù)通道完全分離。一個(gè)控制通道后面可以有多個(gè)數(shù)據(jù)通道（這就是帶狀傳輸服務(wù)器的實(shí)現(xiàn)方式）。

(2)性能。根據(jù)實(shí)驗(yàn)，在千兆網(wǎng)絡(luò)環(huán)境下的單服務(wù)器對(duì)單客戶端傳輸性能：當(dāng)TCP流增多時(shí)傳輸帶寬有明顯的增大(達(dá)到200Mbps)?？偟膩砜?，GridFTP的性能可達(dá)到Iperf(一種網(wǎng)絡(luò)帶寬和性能測(cè)試工具)的78%；在萬兆網(wǎng)絡(luò)(30G)環(huán)境下的帶狀服務(wù)器對(duì)單客戶端傳輸性能：當(dāng)進(jìn)行內(nèi)存到內(nèi)存?zhèn)鬏敃r(shí)，隨著帶狀數(shù)的增加，傳輸帶寬幾乎呈線性增長(zhǎng)（斜率接近1），32個(gè)數(shù)據(jù)節(jié)點(diǎn)時(shí)可以達(dá)到27Gbps的帶寬，近90%的利用率；當(dāng)進(jìn)行磁盤到磁盤傳輸時(shí)，由于受到存儲(chǔ)系統(tǒng)的限制，但仍然達(dá)到了17.5Gbps的帶寬。帶狀傳輸性能測(cè)試。

(3)編程接口。除了GT自帶的用于通道控制和實(shí)現(xiàn)客戶端的2個(gè)API庫ftp_control_library和fip_client_library外，還有CoG（Commodity Grid）工具集。它是提供給網(wǎng)格用戶、管理者，特別是開發(fā)人員使用的框架，為開發(fā)網(wǎng)格應(yīng)用程序提供了更快速簡(jiǎn)易的通道。目前CoG工具集有Java CoG、Python CoG等，它不僅是集成網(wǎng)格服務(wù)的工具，還是提供統(tǒng)一分布計(jì)算技術(shù)訪問接口的中間件[3]。CoG可用于GT中(正在開發(fā)的CoG 4.0將兼容的GT4)，Java CoG為Globus開發(fā)了jglobus包，其中包括AXIS、數(shù)據(jù)傳輸、GASS、GRAM、MDS和安全等組件。

3  可靠文件傳輸——RFT服務(wù)

GridFTP客戶端要求一直保持開啟，連接直到傳輸完成為止。而一旦失去與服務(wù)器的連接則需要人工參與重啟傳輸。為了傳輸任務(wù)的可靠性，一個(gè)基于無用戶的、提交傳輸任務(wù)后即可釋放的服務(wù)是十分必要的。

可靠文件傳輸(Reliable File Transfer，RFT)是基于WSRF(Web Services Resource Framework)的一個(gè)網(wǎng)格服務(wù)，提供一個(gè)、易調(diào)用、可靠的文件傳輸服務(wù)。它支持GridFTP的第三方數(shù)據(jù)傳輸和部分文件管理功能(如批量刪除文件等)，可以監(jiān)測(cè)傳輸動(dòng)態(tài)及性能，自動(dòng)恢復(fù)傳輸?shù)裙δ堋?/p>

可靠文件傳輸服務(wù)接收來自客戶端GUI的傳輸請(qǐng)求，該請(qǐng)求可存放在數(shù)據(jù)庫中(Globus一般采用PostgreSQL)，然后調(diào)用傳輸客戶端啟動(dòng)第三方傳輸。通過調(diào)用數(shù)據(jù)庫保存的傳輸任務(wù)和狀態(tài)來實(shí)現(xiàn)出錯(cuò)恢復(fù)這一重要機(jī)制。用戶可以從各種GUI界面查詢不同信息。

　4  數(shù)據(jù)副本管理——RLS和DRS服務(wù)

網(wǎng)格是一個(gè)整體環(huán)境。為了降低訪問延遲，改善數(shù)據(jù)局部性，保證分布式應(yīng)用的質(zhì)量，提高執(zhí)行效率和性能，往往需要建立數(shù)據(jù)的遠(yuǎn)程只讀副本。同時(shí)可以根據(jù)需要，在完成數(shù)據(jù)傳輸復(fù)制后把它標(biāo)識(shí)為副本，以便其他客戶端使用。

副本定位服務(wù)(Replica Location Service，RLS)維護(hù)并提供數(shù)據(jù)項(xiàng)邏輯名和數(shù)據(jù)項(xiàng)的一個(gè)或多個(gè)副本所在位置之間的映射。RLS框架基于LRC本地狀態(tài)、RLI集體狀態(tài)、RLI軟狀態(tài)維護(hù)等幾種機(jī)制。它實(shí)現(xiàn)成一種分布式服務(wù)，允許用戶在一致性、空間開銷、可靠性、更新代價(jià)和查詢代價(jià)之間做出權(quán)衡。

　5  總結(jié)及未來的工作

GridFTP雖然已成為網(wǎng)格中的標(biāo)準(zhǔn)數(shù)據(jù)傳輸協(xié)議，但還有一些問題尚待解決：GridFTP需要發(fā)送方進(jìn)行TCP連接，這不利于穿越防火墻；即使不同服務(wù)器上擁有數(shù)據(jù)的多個(gè)復(fù)本，帶狀傳輸也只支持使用并行文件系統(tǒng)的服務(wù)器。在帶狀傳輸時(shí)，應(yīng)該用一個(gè)負(fù)載平衡代理服務(wù)器來協(xié)調(diào)單控制通道及多數(shù)據(jù)通道的工作，以處理單點(diǎn)故障等，使高效傳輸能順利完成。