淺談重復(fù)數(shù)據(jù)刪除技術(shù)的前景

否則數(shù)據(jù)塊不會變化。如果變化的內(nèi)容發(fā)生在滑動窗口內(nèi)，可能會破壞分界數(shù)據(jù)塊，導(dǎo)致兩個數(shù)據(jù)塊合成一個數(shù)據(jù)塊，或者兩個數(shù)據(jù)塊之間的邊界發(fā)生變化，產(chǎn)生新的數(shù)據(jù)塊。因此，插入或者刪除內(nèi)容只影響相鄰的一個或者兩個數(shù)據(jù)塊，其余數(shù)據(jù)塊不會受影響，這就使得該方法能夠檢測出對象之間更多的重復(fù)數(shù)據(jù)。如圖5所示，當(dāng)文件中插入部分內(nèi)容后，分塊時將該內(nèi)容劃分到一個數(shù)據(jù)塊中，保持其后續(xù)的數(shù)據(jù)塊不變，從而保證后面重復(fù)的數(shù)據(jù)塊都能夠被刪除。 該方法的典型應(yīng)用包括：shark[6]、deep store[7]和低帶寬網(wǎng)絡(luò)系統(tǒng)lbfs。 在lbfs系統(tǒng)中，系統(tǒng)對分塊長度加上了上下邊界長度，以避免數(shù)據(jù)塊太長和太短的現(xiàn)象。 2.4 基于滑動塊的重復(fù)數(shù)據(jù)刪除技術(shù) 內(nèi)容劃分塊方法解決了字節(jié)插入和刪除的問題，但是引入了變長塊的存儲問題。在存儲系統(tǒng)中，邊長塊的存儲組織比較復(fù)雜。針對該問題，出現(xiàn)了基于滑動塊重復(fù)數(shù)據(jù)刪除檢測消除方法[8]。該方法如圖6所示，解決了定長塊和內(nèi)容劃分塊所存在的問題。 滑動塊方法采用了rsync checksum算法和滑動窗口方法進(jìn)行分塊。rsync checksum算法具有計算速度快、效率高的