1  方案的提出

　　在互聯(lián)網(wǎng)時代，人們通過Internet收集存儲一些個人需要的網(wǎng)頁，供日后查閱。簡單的辦法是使用IE或Netscape的“另存為”功能，把這些網(wǎng)頁保存在個人計算機的文件夾中。近年來，也出現(xiàn)了一些好的工具幫助收集整理網(wǎng)頁。例如，利用軟件“網(wǎng)海拾貝”可以將網(wǎng)頁收藏到本地數(shù)據(jù)庫中，軟件“Webzip”可以將網(wǎng)站鏡像打包到一個zip文件中。使用這些工具軟件能方便地搜集所需的網(wǎng)頁資源，但問題是，若無備份，則無法在其他的機器上看到這些網(wǎng)頁。但它的缺點是，當收藏的URL不能夠被訪問時（如該網(wǎng)頁被所鏈接的網(wǎng)站刪除），也就無法訪問該網(wǎng)頁了，并且無法直接對所收集的網(wǎng)頁進行管理。

　　本文提出的新方案是，借用Web服務(wù)器的個人存儲空間，存儲和管理個人網(wǎng)頁。其思路是：開發(fā)一個基于Web服務(wù)的組件（稱為Url_Tool組件），Url_Tool組件布署和運行在Web服務(wù)器端。用戶經(jīng)注冊成為Url_Tool的客戶后，就能通過Internet使用Url_Tool的功能，將感興趣網(wǎng)頁的URL提交到Web服務(wù)器，由Url_Tool組件自動完成網(wǎng)頁并保存在該Web服務(wù)器。WEB服務(wù)器也稱為WWW（WORLD WIDE WEB）服務(wù)器，主要功能是提供網(wǎng)上信息瀏覽服務(wù)。 WWW 是 Internet 的多媒體信息查詢工具，是 Internet 上近年才發(fā)展起來的服務(wù)，也是發(fā)展快和目前用的廣泛的服務(wù)。正是因為有了WWW工具，才使得近年來 Internet 迅速發(fā)展，且用戶數(shù)量飛速增長。

　　這是一種新的網(wǎng)絡(luò)資源搜集和網(wǎng)上資源共享方式。網(wǎng)站經(jīng)營者還可以對用戶存儲的網(wǎng)頁作進一步的“數(shù)據(jù)挖掘”。這些數(shù)據(jù)被轉(zhuǎn)化成有商業(yè)價值的信息，網(wǎng)站籍此掌握網(wǎng)民的消費熱點和消費需求，并向網(wǎng)民提供個性化服務(wù)。

　　2  組件設(shè)計

　　2.1 組件結(jié)構(gòu)

　　Url_Tool組件分成客戶端和服務(wù)器端2部分。

　　服務(wù)器端又由3個基本功能模塊構(gòu)成：

　　Url_Tool客戶端的基本功能是：向Url_Tool組件提交用戶信息和需要存儲的網(wǎng)頁地址；使用Url_Tool界面管理個人網(wǎng)頁空間。

　　Url_Tool服務(wù)器端的基本功能是：驗證用戶信息，接受客戶端網(wǎng)頁的請求，并把這些請求輸入到Url數(shù)據(jù)庫；在網(wǎng)絡(luò)空閑時，自動HTML/XML網(wǎng)頁，建立和維護個人網(wǎng)頁存儲空間；向用戶提供管理Web網(wǎng)頁操作界面，實現(xiàn)對個人網(wǎng)頁的自主管理。

　　Url_Tool組件的結(jié)構(gòu)示意圖如圖1所示。

　　2.2 通信協(xié)議

　　通過通信信道和設(shè)備互連起來的多個不同地理位置的數(shù)據(jù)通信系統(tǒng)，要使其能協(xié)同工作實現(xiàn)信息交換和資源共享，它們之間必須具有共同的語言。交流什么、怎樣交流及何時交流，都必須遵循某種互相都能接受的規(guī)則。這個規(guī)則就是通信協(xié)議。通信協(xié)議是指雙方實體完成通信或服務(wù)所必須遵循的規(guī)則和約定。協(xié)議定義了數(shù)據(jù)單元使用的格式，信息單元應(yīng)該包含的信息與含義，連接方式，信息發(fā)送和接收的時序，從而確保網(wǎng)絡(luò)中數(shù)據(jù)順利地傳送到確定的地方。通信協(xié)議在計算機通信中，通信協(xié)議用于實現(xiàn)計算機與網(wǎng)絡(luò)連接之間的標準，網(wǎng)絡(luò)如果沒有統(tǒng)一的通信協(xié)議，電腦之間的信息傳遞就無法識別。 通信協(xié)議是指通信各方事前約定的通信規(guī)則，可以簡單地理解為各計算機之間進行相互會話所使用的共同語言。兩臺計算機在進行通信時，必須使用的通信協(xié)議 。

　　Url_Tool組件的服務(wù)器端和客戶端的交互是基于TCP/IP Socket編程的，消息格式基于HTML/XML。為此，定義了一個新的協(xié)議集，即Url-Summit交互指令。Url-Summit指令主要是為了解決客戶端程序和URL存儲服務(wù)器的交互問題。Url-Summit協(xié)議集的具體內(nèi)容包括Url-Tool服務(wù)端向客戶端發(fā)送的內(nèi)容和Url-Tool客戶端向服務(wù)端發(fā)送的請求，分別如表1和表2所示。

　　以下是Url-Summit協(xié)議集的一個實例。其中S表示服務(wù)端，C表示客戶端。用戶名是“jack”，密碼是“mypassword”。

　　S：100 Hello

　　S：101 User

　　C：jack

　　S：102 Password

　　C：mypassword

　　S：202 OK

　　登錄成功

　　C：211 http：//www.google.com/

　　S：202 Add Ok

　　添加成功

　　C：300 logout

　　S：301 bye

　　離開

　　2.3 數(shù)據(jù)庫設(shè)計

　　Url_Tool在服務(wù)器端建立名為Url_D的數(shù)據(jù)庫，Url_D的數(shù)據(jù)庫主要包含2個數(shù)據(jù)庫表，分別是用戶信息表KUser和用戶任務(wù)表KTask。其數(shù)據(jù)結(jié)構(gòu)分別如表3和表4所示。用戶任務(wù)表保存用戶存儲的個人網(wǎng)頁Url地址及其狀態(tài)。

　　Url_Tool用戶管理個人網(wǎng)頁的SQL語句如下例。

　　SELECT uID FROM KUser WHERE name=′用戶名′

　　AND password=′密碼′；//驗證用戶登錄，

　　//返回記錄數(shù)為1，就可以登錄；反之，拒絕登錄

　　SELECT link FROM KTask WHERE started=0

　　ORDER BY tID LIMIT 0，1；//獲取任務(wù)，每次

　　//獲取一個任務(wù)，即需要的頁面的URL

　　UPDATE KTask SET started=1 WHERE tID=′任務(wù)ID′；//啟動任務(wù)

　　UPDATE KTask SET finished=1

　　WHERE tID=′任務(wù)ID′；//完成任務(wù)

　　2.4 URL存儲服務(wù)器設(shè)計

　　統(tǒng)一資源定位符（URL，英語 Uniform / Universal Resource Locator 的縮寫）也被稱為網(wǎng)頁地址，是因特網(wǎng)上標準的資源的地址（Address）。它初是由蒂姆·伯納斯-李發(fā)明用來作為萬維網(wǎng)的地址的?，F(xiàn)在它已經(jīng)被萬維網(wǎng)聯(lián)盟編制為因特網(wǎng)標準RFC1738了。Internet上的每一個網(wǎng)頁都具有一個的名稱標識，通常稱之為URL地址，這種地址可以是本地磁盤，也可以是局域網(wǎng)上的某一臺計算機，更多的是Internet上的站點。簡單地說，URL就是Web地址，俗稱“網(wǎng)址”。URI 方案集，包含如何訪問 Internet 上的資源的明確指令。

　　URL的存儲檢索效率是在Internet上構(gòu)建分布式信息搜集系統(tǒng)的關(guān)鍵，其是支持多用戶并行訪問。Url_Tool組件的存儲服務(wù)器結(jié)構(gòu)如圖2所示。

　　Url_Tool組件的存儲服務(wù)器程序流程如圖3所示。

　　一般的TCP/IP偵聽服務(wù)器要同時支持多個用戶，主要通過以下幾種形式支持并行服務(wù)。

　?。?）單進程結(jié)合I/O多路復(fù)用模式，通過定時輪流查詢資源集合，實現(xiàn)多用戶連接。（2）多進程模式（multi-fork）：一個子進程對應(yīng)于一個客戶端程序，跟客戶端程序交互。（3）多線程模式（multi-thread）：一個線程對應(yīng)于一個客戶端程序。

　　Url_Tool系統(tǒng)采用多線程的并行模式管理多用戶交互，多線程能夠提升系統(tǒng)性能，降低資源消耗。其原理是同時預(yù)先建立多個線程等待提供服務(wù)，當有需求出現(xiàn)時，預(yù)先建立的線程就可以立即滿足需求，提供服務(wù)。

　　2.5 自動程序設(shè)計

　　2.5.1 程序結(jié)構(gòu)

　　主要包括以下模塊。

　　downop：模塊

　　hashop：哈希表操作模塊

　　curlop：curl操作模塊

　　html_parse：html解釋器模塊

　　url_parse：url解釋模塊

　　其中，hashop和html_parse模塊是把頁面的相關(guān)元素（如圖片、flash等）記錄下來，然后進行。

　　Url_Tool組件的自動程序結(jié)構(gòu)如圖4所示。

　　2.5.2 程序流程

　　Url_Tool組件的自動程序處理流程如圖5所示。

　　2.5.3 程序說明

　　如圖5所示，downop先取得的URL和存放地址；進行初始化工作，調(diào)用hashop_init（ ）建立一個hash表。

　　Curlop_text_tobuff模塊根據(jù)hash表的內(nèi)容將有關(guān)頁面緩存到buf。注意curlop_text_tobuff（&url，&len）中的URL可以改變，目的是取得終的URL地址。len是緩存的長度。緩存由curlop_text_tobuff動態(tài)分配。

　　hashop_set_base_url（url）用于設(shè)定基礎(chǔ)的URL。把終有效的URL設(shè)定作為基礎(chǔ)地址。因為有些html文檔可能會使用相對地址，所以必須設(shè)置正確的基礎(chǔ)地址，才可以。

　　generate_list（buf，len）調(diào)用html_parse解釋頁面，然后把需要的連接放入hash表。

　　download_list（ ）主要是調(diào)用curlophash表的內(nèi)容。

　　Change_html_link（ ）調(diào)用html_parse把buf儲存的html/XML連接轉(zhuǎn)為本地連接，然后保存html/XML頁面。

　　3  組件安裝和運行

　　Url_Tool被封裝成為一個Web服務(wù)組件，通過Web網(wǎng)站向用戶提供網(wǎng)頁暫存服務(wù)。由于該系統(tǒng)采用基于TCP/IP協(xié)議的XML消息格式實現(xiàn)用戶和服務(wù)器的交互，所以，Internet上的任何用戶都可以通過瀏覽器軟件注冊和使用該系統(tǒng)。用戶注冊后，該組件的客戶端自動到客戶機并自動完成安裝和注冊，供用戶使用。IP是英文Internet Protocol（網(wǎng)絡(luò)之間互連的協(xié)議）的縮寫，中文簡稱為“網(wǎng)協(xié)”，也就是為計算機網(wǎng)絡(luò)相互連接進行通信而設(shè)計的協(xié)議。在因特網(wǎng)中，它是能使連接到網(wǎng)上的所有計算機網(wǎng)絡(luò)實現(xiàn)相互通信的一套規(guī)則，規(guī)定了計算機在因特網(wǎng)上進行通信時應(yīng)當遵守的規(guī)則。任何廠家生產(chǎn)的計算機系統(tǒng)，只要遵守 IP協(xié)議就可以與因特網(wǎng)互連互通。IP地址具有性，根據(jù)用戶性質(zhì)的不同，可以分為5類。另外，IP還有進入防護，知識產(chǎn)權(quán)，指針寄存器等含義。