大量小文件的實(shí)時(shí)同步的解決方案分析
2024-07-15 01:59:27
供稿：網(wǎng)友
傳統(tǒng)的文件同步方案有rsync(單向) 和 unison(雙向)等，它們需要掃描所有文件后進(jìn)行比對(duì)，差量傳輸。如果文件數(shù)量達(dá)到了百萬(wàn)甚至千萬(wàn)量級(jí)，掃描所有文件將非常耗時(shí)。而且正在發(fā)生變化的往往是其中很少的一部分，這是非常低效的方式。
之前看了Amazon的Dynamo的設(shè)計(jì)文檔，它們每個(gè)節(jié)點(diǎn)的數(shù)據(jù)是通過(guò)Hash Tree來(lái)實(shí)現(xiàn)同步，既有通過(guò)日志來(lái)同步的軟實(shí)時(shí)特點(diǎn)(msyql, bdb等)，也可以保證最終數(shù)據(jù)的一致性(rsync, unison等)。Hash Tree的大體思路是將所有數(shù)據(jù)存儲(chǔ)成樹狀結(jié)構(gòu)，每個(gè)節(jié)點(diǎn)的Hash是其所有子節(jié)點(diǎn)的Hash的Hash，葉子節(jié)點(diǎn)的Hash是其內(nèi)容的Hash。這樣一旦某個(gè)節(jié)點(diǎn)發(fā)生變化，其Hash的變化會(huì)迅速傳播到根節(jié)點(diǎn)。需要同步的系統(tǒng)只需要不斷查詢跟節(jié)點(diǎn)的hash，一旦有變化，順著樹狀結(jié)構(gòu)就能夠在logN級(jí)別的時(shí)間找到發(fā)生變化的內(nèi)容，馬上同步。
文件系統(tǒng)天然的是樹狀結(jié)構(gòu)，盡管不是平衡的數(shù)。如果文件的修改時(shí)間是可靠的，可以表征文件的變化，那就可以用它作為文件的Hash值。另一方面，文件的修改通常是按順序執(zhí)行的，后修改的文件比早修改的文件具有更大的修改時(shí)間，這樣就可以把一個(gè)目錄內(nèi)的最大修改時(shí)間作為它的修改時(shí)間，以實(shí)現(xiàn)Hash Tree。這樣，一旦某個(gè)文件被修改，修改時(shí)間的信息就會(huì)迅速傳播到根目錄。
一般的文件系統(tǒng)都不是這樣做的，目錄的修改時(shí)間表示的是目錄結(jié)構(gòu)最后發(fā)生變化的時(shí)間，不包括子目錄，否則會(huì)不堪重負(fù)。因?yàn)槲覀冃枰约簩?shí)現(xiàn)這個(gè)功能，利用Linux 2.6內(nèi)核的新特性inotify獲得某個(gè)目錄內(nèi)文件發(fā)生變化的信息，并把其修改時(shí)間傳播到它的上級(jí)目錄(以及再上級(jí)目錄)。Python 有 pyinotify，watch.py的代碼如下：
復(fù)制代碼代碼如下:
#!/usr/bin/python
from pyinotify import *
import os, os.path
flags = IN_CLOSE_WRITE|IN_CREATE|IN_Q_OVERFLOW
dirs = {}
base = '/log/lighttpd/cache/images/icon/u241'
base = 'tmp'
class UpdateParentDir(ProcessEvent):
def process_IN_CLOSE_WRITE(self, event):
print 'modify', event.pathname
mtime = os.path.getmtime(event.pathname)
p = event.path
while p.startswith(base):
m = os.path.getmtime(p)
if m < mtime:
print 'update', p
os.utime(p, (mtime,mtime))
elif m > mtime:
mtime = m
p = os.path.dirname(p)
process_IN_MODIFY = process_IN_CLOSE_WRITE
def process_IN_Q_OVERFLOW(self, event):
print 'over flow'
max_queued_events.value *= 2
def process_default(self, event):
pass
wm = WatchManager()
notifier = Notifier(wm, UpdateParentDir())
dirs.update(wm.add_watch(base, flags, rec=True, auto_add=True))
notifier.loop()
在已經(jīng)有Hash Tree的時(shí)候，同步就比較簡(jiǎn)單了，不停地獲取根目錄的修改時(shí)間并順著目錄結(jié)構(gòu)往下找即可。需要注意的是，在更新完文件后，需要設(shè)置修改時(shí)間為原文件的修改時(shí)間，目錄也是，保證Hash Tree的一致性，否則沒法同步。mirror.py的代碼如下
