MySQL數(shù)據(jù)庫(kù)單一表突破4G限制的實(shí)現(xiàn)方法
出處:赤鑄 發(fā)布于:2008-08-20 10:33:26
在論壇發(fā)表回復(fù)時(shí)出現(xiàn)“The table is full”的提示,字面意義上是數(shù)據(jù)表已滿的意思。因?yàn)楹苌儆虚_(kāi)發(fā)者遭遇單一表超過(guò)4G的情況,因此朋友間的討論只能提供一些外圍的信息。為解決此問(wèn)題,我翻閱了很多資料,本文將以我此次問(wèn)題的解決過(guò)程,介紹問(wèn)題發(fā)生的原因及對(duì)策。
根據(jù)經(jīng)驗(yàn),The table is full提示往往出現(xiàn)在以下兩種情況:
1. 表中設(shè)置了MAX_ROWS值,簡(jiǎn)單的說(shuō),若MAX_ROWS設(shè)置為100,而程序試圖寫(xiě)入第101條記錄,會(huì)出現(xiàn)此錯(cuò)誤。
2. 表滿。這種情況是本文討論的重點(diǎn)
我們認(rèn)為MySQL在存取表的時(shí)候,存在一種定位分配規(guī)律。這個(gè)規(guī)律在默認(rèn)的情況下,可以尋址4G以內(nèi)的數(shù)據(jù)。超過(guò)這個(gè)大小,數(shù)據(jù)庫(kù)將不能對(duì)數(shù)據(jù)定位,因而也無(wú)法進(jìn)行讀寫(xiě)。經(jīng)過(guò)實(shí)驗(yàn),這個(gè)限制是完全可以被突破的。
本例中,用戶的系統(tǒng)環(huán)境為雙Athlon處理器、SCSI硬盤(pán)72G、2G內(nèi)存,用戶的帖子表數(shù)據(jù)尺寸為4294963640,接近4G(4G的實(shí)際字節(jié)數(shù)為4294967296)。
首先SSH登錄后,查看用戶的系統(tǒng)信息:
# uname -a
Linux zichen.com 2.4.20-8smp #1 SMP Thu Mar 13 16:43:01 EST 2003 i686 athlon i386 GNU/Linux
證明是Linux系統(tǒng),根據(jù)內(nèi)核版本2.4.20-8smp,加上國(guó)內(nèi)使用的常見(jiàn)系統(tǒng),估計(jì)應(yīng)該是redhat 9發(fā)行包。
# cat /etc/*release*
Red Hat Linux release 9 (Shrike)
這也證明了我們對(duì)系統(tǒng)版本的猜想。
然后看一下用的是什么文件系統(tǒng)。因?yàn)樵撚脩舨⒎歉呤?,估?jì)在裝系統(tǒng)的時(shí)候就是一路回車下來(lái),redhat 9默認(rèn)的應(yīng)該是EXT3,不過(guò)我們還是看一下:
# parted
GNU Parted 1.6.3
Copyright (C) 1998, 1999, 2000, 2001, 2002 Free Software Foundation, Inc.
This program is free software, covered by the GNU General Public License.
This program is distributed in the hope that it will be useful, but WITHOUT ANY WARRANTY; without even the implied warranty of
MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU General Public License for more details.
Using /dev/sda
Information: The operating system thinks the geometry on /dev/sda is 8942/255/63. Therefore, cylinder 1024 ends at 8032.499M.
(parted) print
Disk geometry for /dev/sda: 0.000-70149.507 megabytes
Disk label type: msdos
Minor Start End Type Filesystem Flags
1 0.031 101.975 primary ext3 boot
2 101.975 10103.378 primary linux-swap
證明確實(shí)是這樣子。隨后我們翻閱了EXT3文件系統(tǒng)的相關(guān)技術(shù)參數(shù),EXT3是在EXT2基礎(chǔ)上演變而來(lái)。EXT2所支持單一文件長(zhǎng)度是2G,這個(gè)是很蹩腳的一個(gè)限制。EXT3做的很大一個(gè)改善就是將這個(gè)限制放大到了2TB,由此稍松一口氣,起碼不是操作系統(tǒng)上的限制。
經(jīng)過(guò)朋友的開(kāi)導(dǎo),了解到單一文件大小有如下幾個(gè)因素:
1. 文件系統(tǒng)的限制(如剛存所說(shuō)EXT3的2TB限制)
2. 某一程序進(jìn)程所能存取的文件尺寸(例如apache在Linux EXT3下能存取的尺寸為2G,諸如日志)
初步判斷瓶頸就在上述其中第二項(xiàng)。隨后找到myisamchk來(lái)顯示一下表信息,證明了瓶頸就在MySQL本身的存取上。
# myisamchk -dv cdb_posts
結(jié)果就不貼了,其中有一項(xiàng)Max datafile length的值恰好就是4G。由此產(chǎn)生了瓶頸。
后來(lái)翻閱了N多資料,進(jìn)行了N多嘗試,也走了不少?gòu)澛?,終覺(jué)得還是文檔比較可靠。比較老的文檔里寫(xiě)道這是由于tmp_table_size的值造成的,也有提到用BIG-TABLES這個(gè)參數(shù)。事實(shí)證明這些都是歧途。大晚上的確實(shí)很累,這里只給出終的解決方案吧,中間的就不羅嗦了。
進(jìn)到mysql客戶端。
# mysql -uroot -p
Enter password: ******
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 59411 to server version: 4.0.18-standard
Type 'help;' or '\h' for help. Type '\c' to clear the buffer.
mysql> use ******
Database changed
mysql> ALTER TABLE cdb_posts MAX_ROWS=1000000000 AVG_ROW_LENGTH=15000;
因?yàn)檫@個(gè)表非常大,執(zhí)行時(shí)間在雙Athlon的服務(wù)器上竟然花了30分鐘!
之后再通過(guò)myisamchk查看該表的信息:
# myisamchk -dv cdb_posts
MyISAM file: cdb_posts
Record format: Packed
Character set: latin1 (8)
File-version: 1
Creation time: 2004-08-30 22:19:48
Recover time: 2004-08-30 22:42:47
Status: open,changed
Auto increment key: 1 Last value: 1063143
Data records: 619904 Deleted blocks: 5
Datafile parts: 619909 Deleted data: 323872
Datafile pointer (bytes): 6 Keyfile pointer (bytes): 4
Datafile length: 4295287332 Keyfile length: 40421376
datafile length: 281474976710654 Max keyfile length: 4398046510079
Recordlength: 149
table description:
Key Start Len Index Type Rec/key Root Blocksize
1 1 4 unique unsigned long 1 4535296 1024
2 5 2 multip. unsigned short 13776 12540928 1024
3 111 4 multip. unsigned long 1 18854912 1024
4 28 3 multip. uint24 18 24546304 1024
5 7 3 multip. uint24 7 32827392 1024
111 4 unsigned long 1
6 7 3 multip. uint24 7 40418304 1024
28 3 uint24
令人振奮的事情發(fā)生了,該表的 Max datafile length: 281474976710654 Max keyfile length: 4398046510079,即數(shù)據(jù)尺寸(MYD文件)達(dá)到了2TB,索引尺寸(MYI)仍然為4G。
由此默認(rèn)的4G限制被突破了。關(guān)于其中的原理,其實(shí)很簡(jiǎn)單:假設(shè)你有一個(gè)日記本,上面有10頁(yè)紙可以寫(xiě)東西,編排目錄只需要1個(gè)字節(jié)(因?yàn)?~9就夠了)。如果你把這本子又塞進(jìn)兩張紙,變成12頁(yè),1個(gè)字節(jié)的目錄空間就無(wú)法尋址到后面的兩頁(yè)中,進(jìn)而產(chǎn)生了錯(cuò)誤。上面那個(gè)ALTER語(yǔ)句中的數(shù)值都是我為保證成功,取的比較大的值(因?yàn)锳LTER實(shí)在是太慢了,沒(méi)時(shí)間在那亂試驗(yàn)),相當(dāng)于告訴數(shù)據(jù)庫(kù),這個(gè)本子有1000000000頁(yè),每頁(yè)平均有15000個(gè)字節(jié)。這樣數(shù)據(jù)庫(kù)便知道這是很大的一個(gè)本子,因此不遺余力的拿出了100頁(yè)(假設(shè)說(shuō))做目錄編排,這樣這個(gè)新的目錄就可以尋址到日記本的所有內(nèi)容了。錯(cuò)誤消失。
惟一的缺點(diǎn)就是,目錄占用的空間多了一些,但已經(jīng)微乎其微了,做了這種改變其實(shí)4G的文件尺寸大小只增大了1M多,非常令人振奮。
欲知詳情,請(qǐng)登錄維庫(kù)電子市場(chǎng)網(wǎng)(www.hbjingang.com)
版權(quán)與免責(zé)聲明
凡本網(wǎng)注明“出處:維庫(kù)電子市場(chǎng)網(wǎng)”的所有作品,版權(quán)均屬于維庫(kù)電子市場(chǎng)網(wǎng),轉(zhuǎn)載請(qǐng)必須注明維庫(kù)電子市場(chǎng)網(wǎng),http://www.hbjingang.com,違反者本網(wǎng)將追究相關(guān)法律責(zé)任。
本網(wǎng)轉(zhuǎn)載并注明自其它出處的作品,目的在于傳遞更多信息,并不代表本網(wǎng)贊同其觀點(diǎn)或證實(shí)其內(nèi)容的真實(shí)性,不承擔(dān)此類作品侵權(quán)行為的直接責(zé)任及連帶責(zé)任。其他媒體、網(wǎng)站或個(gè)人從本網(wǎng)轉(zhuǎn)載時(shí),必須保留本網(wǎng)注明的作品出處,并自負(fù)版權(quán)等法律責(zé)任。
如涉及作品內(nèi)容、版權(quán)等問(wèn)題,請(qǐng)?jiān)谧髌钒l(fā)表之日起一周內(nèi)與本網(wǎng)聯(lián)系,否則視為放棄相關(guān)權(quán)利。
- 工業(yè)5G技術(shù)在智能制造中的應(yīng)用與實(shí)踐解析2025/12/31 10:57:21
- 工業(yè)以太網(wǎng)交換機(jī)選型與現(xiàn)場(chǎng)應(yīng)用技術(shù)指南2025/12/18 10:48:14
- 無(wú)線傳輸電路基礎(chǔ),射頻前端設(shè)計(jì)、天線匹配與鏈路預(yù)算計(jì)算2025/10/27 13:55:50
- ASK 解調(diào)的核心要點(diǎn)與實(shí)現(xiàn)方式2025/9/5 16:46:17
- 雙偶極子天線:結(jié)構(gòu)、特性與應(yīng)用全解析2025/9/3 10:29:21
- 高速PCB信號(hào)完整性(SI)設(shè)計(jì)核心實(shí)操規(guī)范
- 鎖相環(huán)(PLL)中的環(huán)路濾波器:參數(shù)計(jì)算與穩(wěn)定性分析
- MOSFET反向恢復(fù)特性對(duì)系統(tǒng)的影響
- 電源IC在惡劣環(huán)境中的防護(hù)設(shè)計(jì)
- 連接器耐腐蝕性能測(cè)試方法
- PCB電磁兼容(EMC)設(shè)計(jì)與干擾抑制核心實(shí)操規(guī)范
- 用于相位噪聲測(cè)量的低通濾波器設(shè)計(jì)與本振凈化技術(shù)
- MOSFET在高頻開(kāi)關(guān)中的EMI問(wèn)題
- 電源IC在便攜式設(shè)備中的設(shè)計(jì)要點(diǎn)
- 連接器結(jié)構(gòu)設(shè)計(jì)常見(jiàn)問(wèn)題分析









