NetApp 網(wǎng)絡(luò)存儲(chǔ)技術(shù)在地震數(shù)據(jù)管理中的應(yīng)用
出處:husb2000 發(fā)布于:2007-12-22 13:56:00
地震數(shù)據(jù)的爆炸性增長,對(duì)地震數(shù)據(jù)在存儲(chǔ)系統(tǒng)得出了更高的要求,數(shù)據(jù)體在多個(gè)處理服務(wù)器及解釋工作站之間,如何高速、快捷地傳送,是制約處理解釋周期的關(guān)鍵。網(wǎng)絡(luò)存儲(chǔ)技術(shù)的出現(xiàn),從多個(gè)方面改善了地震數(shù)據(jù)存儲(chǔ)系統(tǒng)的不足。本文通過對(duì)地震數(shù)據(jù)存儲(chǔ)系統(tǒng)的現(xiàn)狀及問題的分析,設(shè)計(jì)了基于網(wǎng)絡(luò)存儲(chǔ)技術(shù)的地震數(shù)據(jù)存儲(chǔ)系統(tǒng),實(shí)施后,極大地提高了各處理服務(wù)器、地震解釋工作之間的數(shù)據(jù)傳輸效率,實(shí)現(xiàn)了地震數(shù)據(jù)處理解釋一體化的布諸和管理。
面臨的挑戰(zhàn)
大慶油田公司研究院地震處理解釋中心擁有聯(lián)想深騰1800萬億次集群并行機(jī)(256個(gè)CPU)、DELL集群并行機(jī)(24個(gè)CPU)和IBM SP2(24個(gè)CPU)等多套地震數(shù)據(jù)處理系統(tǒng),以及近25套(SUN/B2000)地震數(shù)據(jù)解釋工作站,承擔(dān)著三維疊前深度偏移處理、地震目標(biāo)處理和解釋任務(wù)。各處理服務(wù)器及解釋工作站均配置有基于主機(jī)的直接存儲(chǔ)(DAS-Direct Attached Storage)磁盤陳列,DELL配置6TB磁盤、IBM配置900GB磁盤、每臺(tái)SUN/B2000配置180GB磁盤;地震數(shù)據(jù)處理服務(wù)器和解釋工作站采用155MB ATM 技術(shù)構(gòu)成地震處理解釋網(wǎng)絡(luò)。
以SUN工作站為主的地震解釋工作站,分布在研究院處理解釋中心機(jī)房、勘探綜合樓和勘探一室(樓)內(nèi),這些解釋工作站系統(tǒng)利用研究院的ATM(155Mb/s)的主干網(wǎng)絡(luò)互連在一起。在每臺(tái)解釋工作站都有自己的本地磁盤用于存儲(chǔ)地震解釋成果數(shù)據(jù)。地震數(shù)據(jù)處理解釋網(wǎng)絡(luò)結(jié)構(gòu)參見下圖。
![]() |
隨著野外地震數(shù)據(jù)采集量的爆炸性增長,一塊三維地震工區(qū)的覆蓋面積達(dá)到了600平方千米,原始數(shù)據(jù)量為700GB以上,因此,如何有效地加載、存儲(chǔ)和處理解釋地震數(shù)據(jù),縮短地震數(shù)據(jù)處理解釋周期,對(duì)地震數(shù)據(jù)存儲(chǔ)系統(tǒng)的容量、性能和可用性提出了更高的要求。目前的地震數(shù)據(jù)處理解釋存儲(chǔ)系統(tǒng)面臨如下問題:
?。?) 數(shù)據(jù)分散存儲(chǔ),非常不利于處理成果數(shù)據(jù)體、解釋中間結(jié)果和成果數(shù)據(jù)的管理及保護(hù);
?。?) 地震數(shù)據(jù)不能及時(shí)地被多臺(tái)解釋工作站共享,有時(shí)數(shù)據(jù)的共享需要磁盤加載實(shí)現(xiàn);
?。?) 地震數(shù)據(jù)從處理服務(wù)器傳輸?shù)浇忉尮ぷ髡臼艿紸TM網(wǎng)絡(luò)帶寬的限制,制約著地震數(shù)據(jù)處理解釋的生產(chǎn)周期;
(4) 數(shù)據(jù)的分散存儲(chǔ)、管理復(fù)雜,不能被集中存儲(chǔ)管理,給數(shù)據(jù)安全帶來危害。
解決方案
基于研究院地震數(shù)據(jù)存儲(chǔ)管理存在的問題,有必要采用網(wǎng)絡(luò)存儲(chǔ)技術(shù)建立統(tǒng)一的地震數(shù)據(jù)集中存儲(chǔ)管理系統(tǒng),實(shí)現(xiàn)地震數(shù)據(jù)處理系統(tǒng)和解釋工作站之間的數(shù)據(jù)共享和交換,達(dá)到地震數(shù)據(jù)處理解釋一體化的目標(biāo)。地震數(shù)據(jù)處理服務(wù)器完成數(shù)據(jù)處理任務(wù),處理后的CRP道集和成像數(shù)據(jù)體傳送到網(wǎng)絡(luò)存儲(chǔ)系統(tǒng),地震解釋工作站從網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)中讀取成果數(shù)據(jù)進(jìn)行解釋、成圖,解釋成果再歸檔到網(wǎng)絡(luò)在存儲(chǔ)系統(tǒng)中,供地質(zhì)綜合研究人員進(jìn)行分析和探井設(shè)計(jì)。方案的技術(shù)關(guān)鍵是建立網(wǎng)絡(luò)存儲(chǔ)系統(tǒng),實(shí)現(xiàn)地震數(shù)據(jù)處理服務(wù)器和解釋工作站之間的數(shù)據(jù)共享和交換,提高處理解釋效率,縮短地震數(shù)據(jù)處理研究周期。
數(shù)據(jù)存儲(chǔ)技術(shù)從 DAS(直接連接存儲(chǔ))到 NAS(網(wǎng)絡(luò)附加存儲(chǔ))、 SAN(存儲(chǔ)局域網(wǎng))的發(fā)展使數(shù)據(jù)應(yīng)用環(huán)境從以服務(wù)器為中心轉(zhuǎn)向以存儲(chǔ)為中心。目前SAN技術(shù)主要面向以塊I/O的高性能數(shù)據(jù)中心應(yīng)用。而NAS則面向以文件共享的小數(shù)據(jù)塊為應(yīng)用的共享分布式存儲(chǔ)應(yīng)用,為TCP/IP網(wǎng)絡(luò)上的各個(gè)服務(wù)器/工作站提供快速的數(shù)據(jù)文件共享。
NetApp公司的NAS存儲(chǔ)技術(shù)是一種的網(wǎng)絡(luò)文件存儲(chǔ)及文件備份技術(shù),或稱為網(wǎng)絡(luò)直聯(lián)存儲(chǔ)設(shè)備、網(wǎng)絡(luò)磁盤陳列。一個(gè)NAS存儲(chǔ)系統(tǒng)中包括處理器,文件服務(wù)管理工具,一個(gè)或者多個(gè)的硬盤驅(qū)動(dòng)器用于數(shù)據(jù)的存儲(chǔ)。NAS可以應(yīng)用在任何的網(wǎng)絡(luò)環(huán)境當(dāng)中。主服務(wù)器客戶端可以非常方便地在NAS上存儲(chǔ)任意格式的文件,包括SMB格式(Windows)NFS 格式(Unix, Linux)和CIFS格式等等。NAS系統(tǒng)可以根據(jù)服務(wù)器或者客戶端計(jì)算機(jī)發(fā)出的指令完成對(duì)內(nèi)的文件的管理。另外的特性包括:獨(dú)立于操作系統(tǒng)平臺(tái),不同種類的文件共享,交叉協(xié)議用戶安全性/許可性,瀏覽器界面的操作/管理,和不中斷網(wǎng)絡(luò)來增加和移除服務(wù)器。
1. 地震數(shù)據(jù)處理解釋對(duì)網(wǎng)絡(luò)存儲(chǔ)的需求分析
根據(jù)研究院地震數(shù)據(jù)處理服務(wù)器和解釋工作站所擁有的磁盤存儲(chǔ)空間為9TB和2TB,隨著處理解釋工作量的不斷增加,預(yù)計(jì)存儲(chǔ)處理成果數(shù)據(jù)及解釋成果數(shù)據(jù)的集中存儲(chǔ)空間需要2TB到3TB的容量。因此提出采用NetApp公司的NAS存儲(chǔ)技術(shù)來整合現(xiàn)有的地震處理解釋系統(tǒng)。建設(shè)一個(gè)以NAS為存儲(chǔ)中心的地震數(shù)據(jù)處理解釋系統(tǒng)應(yīng)用環(huán)境。
(1) 容量上的需求
考慮將來的發(fā)展需求和目前現(xiàn)有的存儲(chǔ)空間情況,期將NAS文件服務(wù)器配置成2TB或3TB的存儲(chǔ)空間比較適合。一是加載近幾年處理完成的地震成果數(shù)據(jù),加快這些成果數(shù)據(jù)的解釋和應(yīng)用;二是備份現(xiàn)有的各臺(tái)解釋工作站上已完成的解釋成果數(shù)據(jù),實(shí)施解釋成果數(shù)據(jù)的集中存儲(chǔ)與管理;三是加載油田探井的測(cè)井曲線數(shù)據(jù),為探井綜合評(píng)價(jià)提供數(shù)據(jù)服務(wù)。在NAS文件服務(wù)器上實(shí)際配置2TB的存儲(chǔ)容量,使整個(gè)地震數(shù)據(jù)解釋系統(tǒng)的總存儲(chǔ)空間達(dá)到4.5TB(加上原來的2.5TB),并且留有4TB的可擴(kuò)展存儲(chǔ)空間。
(2) 性能上需求
由于地震數(shù)據(jù)處理解釋的數(shù)據(jù)集中存儲(chǔ)在NAS設(shè)備中,這就要求NAS存儲(chǔ)設(shè)備、網(wǎng)絡(luò)數(shù)據(jù)傳輸路徑、都要有適合地震處理數(shù)據(jù)傳輸?shù)男阅堋R虼瞬粌H要選用業(yè)界性能的NAS存儲(chǔ)設(shè)備、而且還要局部地改造研究院現(xiàn)有的骨干網(wǎng)絡(luò),提升數(shù)據(jù)傳輸線路的帶寬。
(3) 安全上需求
數(shù)據(jù)安全是地震數(shù)據(jù)處理解釋生產(chǎn)中非常重要的工作,它不僅影響到生產(chǎn)的周期、而且會(huì)影響到研究院多年的地震數(shù)據(jù)處理解釋成果。因此選用的NAS存儲(chǔ)設(shè)備和相應(yīng)的軟件必須具有非常高的安全保護(hù)技術(shù)、達(dá)到數(shù)據(jù)集中后對(duì)數(shù)據(jù)的安全保護(hù)。
(4) 集中簡(jiǎn)單管理需求
數(shù)據(jù)的集中必然帶來了數(shù)據(jù)的管理問題。因此在作到集中管理的同時(shí),還要實(shí)現(xiàn)管理簡(jiǎn)單、界面豐富、實(shí)施容易等需求。
2. 地震數(shù)據(jù)處理解釋存儲(chǔ)系統(tǒng)的設(shè)計(jì)目標(biāo)
(1) 地震處理成果數(shù)據(jù)、地震解釋成果數(shù)據(jù)和測(cè)井曲線數(shù)據(jù)將集中存儲(chǔ)到安裝在勘探綜合樓內(nèi)的NAS存儲(chǔ)服務(wù)器中去。實(shí)現(xiàn)重要的地震、測(cè)井?dāng)?shù)據(jù)的集中存儲(chǔ)、管理和共享;
(2) 實(shí)現(xiàn)NAS存儲(chǔ)服務(wù)器與勘探研究科室之間的千兆(1000Mb/s)以太網(wǎng)連接,提高數(shù)據(jù)傳辦輸網(wǎng)絡(luò)的帶寬,各二級(jí)交換機(jī)到用戶解釋工作站之間達(dá)到100Mb/s的桌面連接,保證數(shù)據(jù)的交換速率;
?。?) 所有SUN的工作站和NT/WINDOWS系統(tǒng)實(shí)現(xiàn)文件級(jí)共享,保證地震數(shù)據(jù)、測(cè)井?dāng)?shù)據(jù)和必要的文本文件實(shí)現(xiàn)無須手工干預(yù)直接使用;
?。?) 保證數(shù)據(jù)的安全,利用NAS存儲(chǔ)服務(wù)器安全性,及SnapShot等技術(shù)保證集中存儲(chǔ)數(shù)據(jù)的安全性;
(5) 盡可能節(jié)省投資,利用研究院現(xiàn)有的光纖等網(wǎng)絡(luò)設(shè)施在充分考慮將來需要的情況下節(jié)省用戶的投資。
3. 網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)的設(shè)計(jì)方案
針對(duì)上述需要分析并結(jié)合NetApp公司的NAS存儲(chǔ)技術(shù),采用NAS存儲(chǔ)技術(shù)對(duì)研究院地震數(shù)據(jù)處理解釋系統(tǒng)進(jìn)行整合是一個(gè)滿足實(shí)際需求的解決方案。
在構(gòu)建研究院地震數(shù)據(jù)處理解釋存儲(chǔ)系統(tǒng)時(shí),以NetApp的Filer F840存儲(chǔ)設(shè)備為,并對(duì)研究院的骨干網(wǎng)絡(luò)進(jìn)行局部改造,建立基于千兆網(wǎng)絡(luò)技術(shù)的地震處理解釋專網(wǎng),實(shí)現(xiàn)處理服務(wù)器、解釋工作站與NAS存儲(chǔ)器之間的高速傳輸。
(1) 地震數(shù)據(jù)處理解釋網(wǎng)絡(luò)的升級(jí)改造
研究院目前的骨干網(wǎng)絡(luò)是以ATM(155Mb/s)為主干的網(wǎng)絡(luò)。因此需要將地震數(shù)據(jù)處理解釋各個(gè)科室所在的網(wǎng)絡(luò)改造楊1000Mb/s以太網(wǎng)絡(luò),在網(wǎng)絡(luò)升級(jí)改造方案中使用CISCO的骨干交換機(jī)來建立地震處理解釋專網(wǎng)。
(2) 各個(gè)建筑物之間網(wǎng)絡(luò)光纖的改造
NAS設(shè)備F840將安裝在勘探綜合樓,與勘探二室所在的處理中心樓之間的距離大約有700米,使用目前的多膜光纖在1000Mb/s的傳輸下只能支持550米,因此要使用光纖中繼器或延伸器來實(shí)現(xiàn),使用光纖中繼器是在現(xiàn)有光纖中間安裝中繼器來實(shí)現(xiàn),使用延伸器是在光纖的兩端安裝延伸器來實(shí)現(xiàn),但費(fèi)用稍高;勘探綜合樓與勘探一室之間的距離為200米,使用目前的多膜光纖即可。
(3) 地震數(shù)據(jù)處理解釋存儲(chǔ)方案總體設(shè)計(jì)
根據(jù)實(shí)際需求,設(shè)計(jì)了以NetApp NAS文件服務(wù)器F840為的研究院地震數(shù)據(jù)處理解釋存儲(chǔ)系統(tǒng)。
![]() |
該方案的整體設(shè)計(jì)思想是在勘探綜合樓內(nèi)配置CISCO Cat4003中心交換機(jī)和NetApp的F840文件服務(wù)器。在F840上配有兩個(gè)1000Mb/s的多膜光纖接口實(shí)現(xiàn)與中心交換的冗余連接。在勘探兩個(gè)科室內(nèi)分別配置一臺(tái)CISCO 3524交換機(jī),實(shí)現(xiàn)1000Mb/s上連,及100Mb/s的下連到解釋工作站。保證了數(shù)據(jù)傳輸性能和數(shù)據(jù)的安全存儲(chǔ)。整個(gè)方案充分體現(xiàn)了以NAS為中心的存儲(chǔ)整合。
- NAS存儲(chǔ)設(shè)備選用業(yè)界技術(shù)成熟、性能、應(yīng)用廣泛的NetApp F840
- 綜合樓的中心交換機(jī)選用業(yè)界技術(shù)的CISCO公司的Catalyst 4003
- 安裝在計(jì)算中心1號(hào)樓(勘探二室)、勘探一室的二級(jí)交換機(jī)選用CISCO的Catalyst3524
- 在計(jì)算機(jī)中心一號(hào)(勘探二室)與綜合樓之間用于光纖信號(hào)增強(qiáng)的光纖延伸器選用美國MRV公司的Fiber Driver Gigabit Multimode Extender
4. 網(wǎng)絡(luò)存儲(chǔ)方案的實(shí)施
(1) 千兆網(wǎng)絡(luò)環(huán)境的安裝調(diào)試
在指定地點(diǎn)安裝MRV光纖延伸器和CISCO公司的Catalyst4003、C3524交換機(jī);上電配置C4003和C3524,提供交換機(jī)的管理IP/掩碼,設(shè)備命名規(guī)則,網(wǎng)關(guān)地址、DNS IP和域名、VLAN號(hào)分配規(guī)則、C4003上聯(lián)到骨干交換機(jī);進(jìn)行網(wǎng)絡(luò)連接及連網(wǎng)測(cè)試,并構(gòu)成NAS所需的網(wǎng)絡(luò)環(huán)境。
(2) F840存儲(chǔ)服務(wù)器的安裝調(diào)試
F840存儲(chǔ)服務(wù)器的控制器、磁盤柜上架;網(wǎng)絡(luò)電纜連接到F840上;提供F840的IP地址和子網(wǎng)掩碼,DNS服務(wù)器的IP地址,缺省網(wǎng)關(guān)的IP地址,F(xiàn)840主機(jī)名,須有mail主機(jī)名和IP地址,須有網(wǎng)絡(luò)工作站,至少于Hot Spare、兩塊備用、剩余36塊分成(9+1)4個(gè)RAID組;在F840上安裝調(diào)試NFS、CIFS、SnapRestore等軟件;當(dāng)所有設(shè)備安裝調(diào)試完成后,將進(jìn)入系統(tǒng)聯(lián)調(diào)階段,聯(lián)調(diào)階段要調(diào)通網(wǎng)絡(luò)功能、文件共享功能、快照功能及快照恢復(fù)功能。
運(yùn)行效果
2003年初地震數(shù)據(jù)處理解釋存儲(chǔ)系統(tǒng)投入生產(chǎn),主要應(yīng)用于地震處理成果數(shù)據(jù)、地震解釋成果數(shù)據(jù)和探井測(cè)井曲線數(shù)據(jù)的存儲(chǔ)和管理。
NAS存儲(chǔ)服務(wù)器上配置了39塊72GB FC磁盤,目前使用了34塊磁盤作為數(shù)據(jù)盤,另外的5塊盤作為Spare Disks.磁盤的劃分見下表:
NAS存儲(chǔ)服務(wù)器的磁盤劃分
|
Name |
Used |
Total |
Avall. |
Dlsks |
|
Vo10
(root) |
0% |
53.8GB |
53.5GB |
2 |
|
Vo11 |
66% |
376GB |
127GB |
8 |
|
Vo12 |
81% |
376GB |
70.2GB |
8 |
|
Vo13 |
100% |
376GB |
0Bytes |
8 |
|
Vo14 |
99% |
376GB |
3.64GB |
8 |
其中:
Vo10用作系統(tǒng)盤;
Vo11用來存儲(chǔ)測(cè)井?dāng)?shù)據(jù),使用了249GB的磁盤空間;
Vo12用來存儲(chǔ)地震解釋成果數(shù)據(jù),使用了306GB的空間;
Vo13、vo14用來存儲(chǔ)地震成果數(shù)據(jù),使用了753GB的磁盤空間。
NAS盤上的數(shù)據(jù),主要采用了NFS方式出口給勘探科室的地震數(shù)據(jù)解釋工作站,用于遠(yuǎn)程數(shù)據(jù)文件服務(wù),用戶可以方便快捷地地震數(shù)據(jù)和測(cè)井?dāng)?shù)據(jù)。系統(tǒng)管理員主要通過HTTP方式,在辦公室的微機(jī)上,使用NAS的FilerView功能來管理NAS系統(tǒng)。在數(shù)據(jù)安全管理方面,開啟了NAS存儲(chǔ)服務(wù)器的快照功能(SnapShot),每日白天三次,晚間快照2次。
NAS存儲(chǔ)系統(tǒng)運(yùn)行期間,會(huì)定期發(fā)出E-mail給系統(tǒng)管理人員和NetApp的客服中心,及時(shí)系統(tǒng)的運(yùn)行況狀和故障信息,NETAPP公司有專門人員檢查NAS存儲(chǔ)系統(tǒng)的運(yùn)行情況,出現(xiàn)的錯(cuò)誤,他們會(huì)及時(shí)定位、排除。
到目前為止,整個(gè)NAS存儲(chǔ)系統(tǒng)運(yùn)行正常,滿足了油氣勘探攻關(guān)項(xiàng)目的數(shù)據(jù)需求,解決了勘探項(xiàng)目組不能及時(shí)得到地震處理成果數(shù)據(jù)、測(cè)井曲線數(shù)據(jù),影響地質(zhì)綜合研究及井位設(shè)計(jì)進(jìn)度的問題。據(jù)勘探研究人員測(cè)算,該存儲(chǔ)系統(tǒng)的成功應(yīng)用,使勘探研究人員加載地震和測(cè)井?dāng)?shù)據(jù)的時(shí)間縮短了2/3;地震解釋成果數(shù)據(jù)的及時(shí)傳送,加快了地質(zhì)分析和成圖的進(jìn)度;并且實(shí)現(xiàn)了地震、測(cè)井?dāng)?shù)據(jù)存儲(chǔ)管理的高可靠性、高可用性和高安全性的目的。
版權(quán)與免責(zé)聲明
凡本網(wǎng)注明“出處:維庫電子市場(chǎng)網(wǎng)”的所有作品,版權(quán)均屬于維庫電子市場(chǎng)網(wǎng),轉(zhuǎn)載請(qǐng)必須注明維庫電子市場(chǎng)網(wǎng),http://www.hbjingang.com,違反者本網(wǎng)將追究相關(guān)法律責(zé)任。
本網(wǎng)轉(zhuǎn)載并注明自其它出處的作品,目的在于傳遞更多信息,并不代表本網(wǎng)贊同其觀點(diǎn)或證實(shí)其內(nèi)容的真實(shí)性,不承擔(dān)此類作品侵權(quán)行為的直接責(zé)任及連帶責(zé)任。其他媒體、網(wǎng)站或個(gè)人從本網(wǎng)轉(zhuǎn)載時(shí),必須保留本網(wǎng)注明的作品出處,并自負(fù)版權(quán)等法律責(zé)任。
如涉及作品內(nèi)容、版權(quán)等問題,請(qǐng)?jiān)谧髌钒l(fā)表之日起一周內(nèi)與本網(wǎng)聯(lián)系,否則視為放棄相關(guān)權(quán)利。
- 工業(yè)5G技術(shù)在智能制造中的應(yīng)用與實(shí)踐解析2025/12/31 10:57:21
- 工業(yè)以太網(wǎng)交換機(jī)選型與現(xiàn)場(chǎng)應(yīng)用技術(shù)指南2025/12/18 10:48:14
- 無線傳輸電路基礎(chǔ),射頻前端設(shè)計(jì)、天線匹配與鏈路預(yù)算計(jì)算2025/10/27 13:55:50
- ASK 解調(diào)的核心要點(diǎn)與實(shí)現(xiàn)方式2025/9/5 16:46:17
- 雙偶極子天線:結(jié)構(gòu)、特性與應(yīng)用全解析2025/9/3 10:29:21
- 高溫環(huán)境下電源IC選型建議
- 安防監(jiān)控設(shè)備連接器應(yīng)用分析
- 高速PCB信號(hào)完整性(SI)設(shè)計(jì)核心實(shí)操規(guī)范
- 鎖相環(huán)(PLL)中的環(huán)路濾波器:參數(shù)計(jì)算與穩(wěn)定性分析
- MOSFET反向恢復(fù)特性對(duì)系統(tǒng)的影響
- 電源IC在惡劣環(huán)境中的防護(hù)設(shè)計(jì)
- 連接器耐腐蝕性能測(cè)試方法
- PCB電磁兼容(EMC)設(shè)計(jì)與干擾抑制核心實(shí)操規(guī)范
- 用于相位噪聲測(cè)量的低通濾波器設(shè)計(jì)與本振凈化技術(shù)
- MOSFET在高頻開關(guān)中的EMI問題











