大規(guī)模系統(tǒng)采用分布式網(wǎng)絡(luò)架構(gòu)，應(yīng)該具備開放性和良好的可擴展性，以適應(yīng)不斷變化的應(yīng)用環(huán)境和需求。系統(tǒng)中各模塊分工處理不同類型的數(shù)據(jù)，也應(yīng)具有相對的獨立性，同時又在不同的層次上相互關(guān)聯(lián)；能實現(xiàn)相互訪問和協(xié)同工作。而且系統(tǒng)還應(yīng)具備良好的集成性，在功能上需要有效的組件構(gòu)造框架；在組件層次上也應(yīng)有統(tǒng)一的數(shù)據(jù)交互平臺。

　　由此，我們可選用CPCI總線作為分布式系統(tǒng)的數(shù)據(jù)通信平臺。PCI總線技術(shù)和成熟的歐式卡組裝技術(shù)的結(jié)合CPCI總線技術(shù)，在邏輯和軟件功能方面，與PCI標(biāo)準(zhǔn)完全兼容。而且突破了PCI標(biāo)準(zhǔn)4個插槽的限制，要比VME總線模塊價位低；具有開放性、易于擴展、高密度的優(yōu)點。CPCI總線技術(shù)以及硬件接口設(shè)計規(guī)范，可運用其多模塊插卡式設(shè)計優(yōu)點，支持多業(yè)務(wù)的分布式處理，實現(xiàn)模塊化數(shù)據(jù)處理單元的無縫連接，非常適用于作為分布式系統(tǒng)業(yè)務(wù)處理通信平臺。

　　下面闡述一種基于CPCI總線的通信系統(tǒng)設(shè)計，該系統(tǒng)采用分布式網(wǎng)絡(luò)架構(gòu)，支持多種分組交換業(yè)務(wù)的處理及數(shù)據(jù)交互。

    1 系統(tǒng)總體設(shè)計

    1.1 系統(tǒng)結(jié)構(gòu)特點

　　所設(shè)計的系統(tǒng)結(jié)構(gòu)如圖1所示。系統(tǒng)中不同設(shè)備板卡獨立對相應(yīng)業(yè)務(wù)數(shù)據(jù)進行處理，將它轉(zhuǎn)化為統(tǒng)一的IP數(shù)據(jù)進行互通，并維護各自的路由表獨立完成數(shù)據(jù)轉(zhuǎn)發(fā)。系統(tǒng)與特定業(yè)務(wù)網(wǎng)絡(luò)的接口分布到各種設(shè)備板卡中進行標(biāo)準(zhǔn)的接入信道適配，可將各類網(wǎng)絡(luò)數(shù)據(jù)分布到各板卡進行處理和轉(zhuǎn)發(fā)，實現(xiàn)集中配置與分布式接入和數(shù)據(jù)處理的結(jié)合。

　　CPCI分布總線架構(gòu)中，背板是總線交換提供物理連接、電路保證，背板上系統(tǒng)插槽提供總線仲裁、時鐘分配和背板上各板卡重新啟動功能。外設(shè)插槽上可以安放簡單的接口板、智能裝置和總線控制裝置。每一塊CPCI板卡都有處理器和嵌入式的實時系統(tǒng)，處理器采用PowerPC-860；同時采用PLX公司的9054與9056 ，PCI橋芯片在PowerPC- 860和CPCI總線之間架起一條高效穩(wěn)定的傳輸橋梁。PLX的 9054/9056芯片可實現(xiàn)CPCI主控設(shè)備的功能，支持PCI2.2規(guī)程；可簡化對連接PowerPC的設(shè)計，兼容性比較好。易擴展成66MHz時鐘及64bit的PCI總線，這樣就可減小系統(tǒng)規(guī)模，使系統(tǒng)更加穩(wěn)定。

圖1 數(shù)據(jù)通信系統(tǒng)結(jié)構(gòu)圖

　　1.2 系統(tǒng)資源共享及信息互通

　　系統(tǒng)采用CPCI的單總線多處理器/多操作系統(tǒng)的分布式架構(gòu)，系統(tǒng)中各塊板卡都擁有獨立的CPU和操作系統(tǒng)、地址和內(nèi)存空間以及獨立的I/O和中斷，可以獨立完成數(shù)據(jù)操作，每一塊板卡都可看作一臺計算機主機。分布式的系統(tǒng)形成拓?fù)浣Y(jié)構(gòu)為一個全連通的網(wǎng)絡(luò)（網(wǎng)絡(luò)每個節(jié)點都能夠直接訪問其它節(jié)點）。從CPCI總線傳輸?shù)慕嵌葋砜矗宀凵系拿總€板卡都是對等的。根據(jù)總線的分布式架構(gòu)，我們設(shè)計了跨總線的內(nèi)存訪問機制，將系統(tǒng)中其它板卡的系統(tǒng)內(nèi)存或者設(shè)備內(nèi)存（比如內(nèi)存擴展卡）映射到本地地址空間，以與系統(tǒng)內(nèi)存相同的方式訪問被映射的內(nèi)存，這樣每塊板卡都能夠訪問到總線上其他板卡的內(nèi)存資源了。

　　1.3 訪問接口統(tǒng)一規(guī)范　

     異構(gòu)網(wǎng)絡(luò)可通過標(biāo)準(zhǔn)信道適配接入分布式系統(tǒng)，語音，X.25及串口數(shù)據(jù)等數(shù)據(jù)經(jīng)由數(shù)據(jù)適配模塊轉(zhuǎn)換成IP數(shù)據(jù)，系統(tǒng)各板卡的嵌入式實時系統(tǒng)對數(shù)據(jù)進行處理與交互。各種異構(gòu)網(wǎng)絡(luò)掛接在嵌入式系統(tǒng)中相應(yīng)網(wǎng)絡(luò)設(shè)備上，網(wǎng)絡(luò)設(shè)備驅(qū)動調(diào)用 CPCI總線驅(qū)動提供的統(tǒng)一接口實現(xiàn)實時系統(tǒng)與總線之間的數(shù)據(jù)傳輸。發(fā)送數(shù)據(jù)時，網(wǎng)絡(luò)設(shè)備驅(qū)動通過總線驅(qū)動控制橋芯片進行地址轉(zhuǎn)換、數(shù)據(jù)轉(zhuǎn)發(fā)、中斷產(chǎn)生等工作，并生成相應(yīng)的總線操作將數(shù)據(jù)送往總線;接收數(shù)據(jù)時，總線驅(qū)動響應(yīng)就中斷，接收總線上相應(yīng)地址段的數(shù)據(jù)，在中斷服務(wù)程序中進行數(shù)據(jù)解析、地址轉(zhuǎn)換、數(shù)據(jù)轉(zhuǎn)發(fā)、其他中斷產(chǎn)生等操作。采用Linux操作系統(tǒng)，其網(wǎng)絡(luò)系統(tǒng)主要是基于UNIX的socket機制，系統(tǒng)協(xié)議棧和驅(qū)動程序之間通過專門的數(shù)據(jù)結(jié)構(gòu)進行傳遞數(shù)據(jù)。實時系統(tǒng)內(nèi)核與CPCI總線間數(shù)據(jù)傳輸流程如圖2所示：

圖2 實時系統(tǒng)內(nèi)核與CPCI總線間數(shù)據(jù)傳輸流程

　　2、關(guān)鍵技術(shù)

　　2.1 報文存儲的“抽屜機制”
　　系統(tǒng)中各板卡共用一條CPCI總線，我們提出基于“抽屜機制”的報文存儲策略，以保證板卡間數(shù)據(jù)無干擾傳輸。在板卡加入系統(tǒng)的初始化階段，系統(tǒng)板為總線上每塊板卡分配獨立的PCI總線地址區(qū)間，其他板卡向其發(fā)送數(shù)據(jù)時將數(shù)據(jù)寫往指定地址區(qū)域。一塊板卡會接收來自不同板卡的數(shù)據(jù)，為避免各板卡往同一基址發(fā)送數(shù)據(jù)所引起的干擾，同一板卡地址區(qū)域內(nèi)又為其他板卡分配大小相同的獨立讀寫空間，我們將它命名為“抽屜”。這樣來自某板卡的數(shù)據(jù)會被送到其對應(yīng)“抽屜”，每次數(shù)據(jù)依序存放而非覆蓋，以保證板卡數(shù)據(jù)處理時間。當(dāng)數(shù)據(jù)長度超出抽屜剩余空間時，則似環(huán)狀buffer從頭開始存放?！俺閷蠙C制”如圖3所示，左邊方塊代表總線上不同板卡，右邊則是PCI總線地址空間。板卡B對應(yīng)地址范圍從a點到e點，其中ab點之間空間僅用于板卡A向B進行數(shù)據(jù)傳送，bc點之間空間僅用于板卡C向B進行數(shù)據(jù)傳送，以此類推。

圖3 板卡數(shù)據(jù)接收“抽屜”

　　基于這種報文存儲機制，我們定義幾種地址表來維護數(shù)據(jù)傳輸相關(guān)地址信息。系統(tǒng)板上維護有靜態(tài)的基址表，記載為每個卡槽上板卡預(yù)先分配的基址。所有板卡上都維護有板卡地址映射表和傳輸?shù)刂菲票?。板卡地址映射表為一個結(jié)構(gòu)數(shù)組，數(shù)組中各項分別代表一個卡槽，里面包含板卡名稱、卡槽號、基址和地址范圍等地址信息以供數(shù)據(jù)傳輸時配置所用，其數(shù)據(jù)結(jié)構(gòu)如下：
　　typedef struct _BUS_ADDR_MAPPING_INFO｛char board_name[BOARD_NAME_LENGTH];int slot_number;unsigned long base_addr;unsigned long range;｝BUS_AddrMapping_Info， ＊P_BUS_AddrMapping_Info;傳輸?shù)刂菲票頌橐粺o符號整型數(shù)組，用于記錄板卡間數(shù)據(jù)傳輸時各板卡的地址偏移，初值均為零，每次傳輸完畢，接收板卡的地址偏移就增加當(dāng)次數(shù)據(jù)傳輸長度，當(dāng)?shù)刂房臻g不足以存放即將傳輸?shù)臄?shù)據(jù)時，則將偏移地址設(shè)為零，重新從區(qū)域起始處寫入。其數(shù)據(jù)結(jié)構(gòu)定義如下：u32 current_offset_table[NUM_OF_SLOT] = ｛0，0，0，0，0，0，0，0｝；
　　2.2 數(shù)據(jù)傳輸
　　實現(xiàn)我們定義了一種數(shù)據(jù)結(jié)構(gòu)IPH（Internal Packet Header），包含數(shù)據(jù)類型、長度、來源卡槽號等屬性，在傳輸數(shù)據(jù)前作為包頭對報文進行封裝，以便接收方解析包頭后能根據(jù)數(shù)據(jù)業(yè)務(wù)類型區(qū)分處理。主要IPH類型有板卡配置信息，端口注冊信息，路由信息，未知數(shù)據(jù)類型等。定義數(shù)據(jù)結(jié)構(gòu)iph_attr區(qū)別不同IPH_info類型，位于數(shù)據(jù)包首，其數(shù)據(jù)結(jié)構(gòu)如下：
　　typedef struct _IPH_ATTR ｛u32 board_id; /＊from which board＊/int iph_type; /＊datagram type＊/unsigned long length; /＊datagram length（without IPH）＊/｝IPH_ATTR， ＊P_IPH_ATTR;針對各種類型IPH信息又分別定義不同數(shù)據(jù)結(jié)構(gòu)，在數(shù)據(jù)包頭中依次存放于iph_attr結(jié)構(gòu)之后。
　　發(fā)送數(shù)據(jù)時，對數(shù)據(jù)進行IPH封裝，根據(jù)前述的板卡地址映射表選擇目的PCI地址，再調(diào)用總線接口函數(shù)完成數(shù)據(jù)傳輸。發(fā)送方通過寫接收板卡橋芯片的mailbox寄存器，將傳輸?shù)刂芳皵?shù)據(jù)長度信息通知接收方，產(chǎn)生中斷觸發(fā)接收。PLX橋芯片支持local總線對PCI總線的直接訪問，它有8個mailbox寄存器，前四個能產(chǎn)生中斷，每個mailbox32位，傳輸?shù)刂泛蛿?shù)據(jù)長度信息分別使用mailbox i 和mailbox i+4配合工作，這樣接收方收到兩個參數(shù)時會產(chǎn)生中斷，進行數(shù)據(jù)接收[5]。這種機制使接收處理具有四個服務(wù)窗口，提高了系統(tǒng)吞吐量。
　　接收板卡PLX芯片的mailbox被寫入?yún)?shù)即產(chǎn)生本地中斷檢查 “抽屜”，產(chǎn)生中斷前，數(shù)據(jù)實際上已被發(fā)到目標(biāo)板卡上了。中斷服務(wù)程序為接收端維護一個數(shù)據(jù)隊列，它讀取mailbox中的信息，分析地址找到相應(yīng)數(shù)據(jù)并交由底半處理。底半解析數(shù)據(jù)包的IPH分辨數(shù)據(jù)類型，若為配置、端口、路由等信息則進行相應(yīng)配置，若為數(shù)據(jù)信息則進行處理或轉(zhuǎn)發(fā)。
　　綜上所述，系統(tǒng)通過 “抽屜機制”和對幾種地址表的維護完成了各板卡之間PCI地址空間的映射，板卡將數(shù)據(jù)寫往映射地址空間即能通過總線將數(shù)據(jù)傳輸?shù)侥繕?biāo)板卡上，實現(xiàn)了板卡的跨總線內(nèi)存訪問；自定義IPH數(shù)據(jù)包頭來區(qū)分?jǐn)?shù)據(jù)類型協(xié)助數(shù)據(jù)信息管理，完成了路由維護，轉(zhuǎn)發(fā)引擎的邏輯功能，實現(xiàn)了數(shù)據(jù)的無干擾傳輸與有效通信管理。
　　3. 總結(jié)及展望

    本文創(chuàng)新點為：給出了一種基于CPCI的分布式系統(tǒng)設(shè)計，同時提出了基于“抽屜機制”的報文存儲機制和地址信息維護策略。文章所述的基于CPCI的分布式系統(tǒng)，可達(dá)到64bit總線寬度、264MB/s的峰值帶寬，系統(tǒng)中各主機能獨立完成數(shù)據(jù)處理及通信，能夠承載語音、數(shù)據(jù)多種業(yè)務(wù)，用戶還可通過用戶接入板與語音業(yè)務(wù)板所連的PSTN網(wǎng)和數(shù)據(jù)業(yè)務(wù)板所連Internet進行數(shù)據(jù)通信，在通信、軍事等領(lǐng)域有著較大的應(yīng)用前景。為使本通信系統(tǒng)更具大規(guī)模實用價值，未來的工作包括：（1） 實現(xiàn)一套易操作的遠(yuǎn)程管理系統(tǒng)，以便完成通信業(yè)務(wù)的監(jiān)控，調(diào)配；（2） 設(shè)計支持更多業(yè)務(wù)類型的CPCI接口板卡，如xDSL，H.264等；（3） 在外界干擾較大情況下，通過嚴(yán)格的性能測試以證明系統(tǒng)能夠滿足電信級的業(yè)務(wù)需求。