項目的一個需求是解析nginx的日志文件。
簡單的整理如下：
日志規(guī)則描述
首先要明確自己的Nginx的日志格式，這里采用默認Nginx日志格式：
log_format main '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$http_referer" ' '"$http_user_agent" "$http_x_forwarded_for"';
其中一條真實記錄樣例如下：
其中，客戶端型號信息用XXXXXXX代替。
項目中已經(jīng)按照業(yè)務(wù)規(guī)則對Nginx日志文件進行了處理命名規(guī)則如下：
ID-ID-YYMMDD-hhmmss
并且所有的日志文件存放在統(tǒng)一路徑下。
解決思路
獲取所有日志文件path
這里使用Python的glob模塊來獲取日志文件path
import globdef readfile(path): return glob.glob(path + '*-*-*-*')
獲取日志文件中每一行的內(nèi)容
使用Python的linecache模塊來獲取文件行的內(nèi)容
import linecachedef readline(path): return linecache.getlines(path)
注意：linecache模塊使用了緩存，所以存在以下問題：
在使用linecache模塊讀取文件內(nèi)容以后，如果文件發(fā)生了變化，那么需要使用linecache.updatecache(filename)來更新緩存，以獲取最新變化。
linecache模塊使用緩存，所以會耗費內(nèi)存，耗費量與要解析的文件相關(guān)。最好在使用完畢后執(zhí)行l(wèi)inecache.clearcache()清空一下緩存。
當然，作為優(yōu)化，這里可以利用生成器來進行優(yōu)化。暫且按下不表。
處理日志條目
一條日志信息就是一個特定格式的字符串，因此使用正則表達式來解析，這里使用Python的re模塊。
下面，一條一條建立規(guī)則：
規(guī)則
ip = r"?P<ip>[/d.]*" date = r"?P<date>/d+" month = r"?P<month>/w+" year = r"?P<year>/d+" log_time = r"?P<time>/S+" method = r"?P<method>/S+" request = r"?P<request>/S+" status = r"?P<status>/d+" bodyBytesSent = r"?P<bodyBytesSent>/d+" refer = r"""?P<refer> [^/"]* """ userAgent=r"""?P<userAgent> .* """
解析
這樣，就可以得到日志條目中各個要素的原始數(shù)據(jù)。
格式及內(nèi)容轉(zhuǎn)化
得到日志原始數(shù)據(jù)之后，需要根據(jù)業(yè)務(wù)要求，對原始數(shù)據(jù)進行格式及內(nèi)容轉(zhuǎn)化。
這里需要處理的內(nèi)容包括：時間，request，userAgent
時間格式轉(zhuǎn)化
在日志信息原始數(shù)據(jù)中存在Dec這樣的信息，利用Python的time模塊可以方便的進行解析
import timedef parsetime(date, month, year, log_time): time_str = '%s%s%s %s' %(year, month, date, log_time) return time.strptime(time_str, '%Y%b%d %H:%M:%S')
解析request
在日志信息原始數(shù)據(jù)中得到的request的內(nèi)容格式為：
/report?XXXXXX
這里只需要根據(jù)協(xié)議取出XXXXXX即可。
這里仍然采用Python的re模塊
import redef parserequest(rqst): param = r"?P<param>.*" p = re.compile(r"/report/?(%s)" %param, re.VERBOSE) return re.findall(p, rqst)
接下來需要根據(jù)業(yè)務(wù)協(xié)議解析參數(shù)內(nèi)容。這里需要先利用base64模塊解碼，然后再利用struct模塊解構(gòu)內(nèi)容：
import structimport base64def parseparam(param): decodeinfo = base64.b64decode(param) s = struct.Struct('!x' + bytes(len(decodeinfo) - (1 + 4 + 4 + 12)) + 'xii12x') return s.unpack(decodeinfo)解析userAgent
在日志信息原始數(shù)據(jù)中userAgent數(shù)據(jù)的格式為：
XXX; XXX; XXX; XXX
根據(jù)業(yè)務(wù)要求，只需要取出最后一項即可。
這里采用re模塊來解析。
import redef parseuseragent(useragent): agent = r"?P<agent>.*" p = re.compile(r".*;.*;.*;(%s)" %agent, re.VERBOSE) return re.findall(p, useragent)
至此，nginx日志文件解析基本完成。
剩下的工作就是根據(jù)業(yè)務(wù)需要，對獲得的基本信息進行處理。
以上所述就是本文的全部內(nèi)容了，希望大家能夠喜歡。
新聞熱點
疑難解答
圖片精選
