国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 編程 > Python > 正文

python 日志增量抓取實現方法

2020-02-22 23:54:41
字體:
來源:轉載
供稿:網友

實例如下所示:

import timeimport pickleimport osimport reclass LogIncScaner(object):  def __init__(self,log_file, reg_ex,seek_file='/tmp/log-inc-scan.seek.temp'):    self.log_file = log_file    self.reg_ex = reg_ex    self.seek_file = seek_file  def scan(self):    seek = self._get_seek()    file_mtime = os.path.getmtime(self.log_file)    if file_mtime <= seek['time']:      print 'file mtime not change since last scan'      seek['time'] = file_mtime      self._dump_seek(seek)      return []    file_size = os.path.getsize(self.log_file)    if file_size <= seek['position']:      print 'file size not change since last scan'      seek['position'] = file_size      self._dump_seek(seek)      return []    print 'file changed,start to scan'    matchs = []    with open(self.log_file, 'rb') as logfd:      logfd.seek(seek['position'],os.SEEK_SET)      for match in re.finditer(self.reg_ex, logfd.read()):        matchs.append(match)      seek = {'time':time.time(),'position': logfd.tell()}      print seek      self._dump_seek(seek)    return matchs  def _get_seek(self):    seek = {'time':time.time(),'position':0}    if os.path.exists(self.seek_file):      with open(self.seek_file,'rb') as seekfd:          try:            seek = pickle.load(seekfd)          except:            pass    print seek    return seek  def _dump_seek(self, seek):    with open(self.seek_file,'wb') as seekfd:      pickle.dump(seek,seekfd)  def reset_seek(self):    self._dump_seek({'time':time.time(),'position':0})if __name__ == "__main__":  scaner = LogIncScaner('/var/log/messages',r'(/w+ /d+ /d+:/d+:/d+) .+?exception')  scaner.reset_seek()  while True:    matchs = scaner.scan()    for match in matchs:      print 'fond at:' + match.group(1) + ' content:' + match.group(0)    time.sleep(5)

以上這篇python 日志增量抓取實現方法就是小編分享給大家的全部內容了,希望能給大家一個參考,也希望大家多多支持武林站長站。

發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
主站蜘蛛池模板: 怀安县| 黄梅县| 凤冈县| 太仆寺旗| 延长县| 隆子县| 渭源县| 元阳县| 新蔡县| 搜索| 章丘市| 嘉义市| 呼伦贝尔市| 滦平县| 舒兰市| 灵川县| 师宗县| 威宁| 若羌县| 宕昌县| 寿光市| 营口市| 旅游| 淮滨县| 合肥市| 东辽县| 鄂尔多斯市| 长治县| 若羌县| 望江县| 城固县| 香港| 南汇区| 富民县| 乐昌市| 五指山市| 阿瓦提县| 芜湖市| 佛坪县| 黄石市| 和林格尔县|