使用Python解析nginx日志文件

項目的一個需求是解析nginx的日志文件。簡單的整理如下：

日志規則描述

首先要明確自己的Nginx的日志格式，這里采用默認Nginx日志格式：

 log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                  '$status $body_bytes_sent "$http_referer" '
                  '"$http_user_agent" "$http_x_forwarded_for"';

其中一條真實記錄樣例如下：

172.22.8.207 - - [16/Dec/2014:17:57:35 +0800] "GET /report?DOmjjuS6keWJp+WculSQAgdUkAIPODExMzAwMDJDN0FC HTTP/1.1" 200 0 "-" "XXXXXXX/1.0.16; iPhone/iOS 8.1.2; ; 8DA77E2F91D0"

其中，客戶端型號信息用 XXXXXXX 代替。

項目中已經按照業務規則對Nginx日志文件進行了處理命名規則如下：

ID-ID-YYMMDD-hhmmss

并且所有的日志文件存放在統一路徑下。

解決思路

獲取所有日志文件 path

這里使用Python的 glob 模塊來獲取日志文件path

import glob
def readfile(path):
    return glob.glob(path + '*-*-*-*')

獲取日志文件中每一行的內容

使用Python的 linecache 模塊來獲取文件行的內容

importlinecache
defreadline(path):
    return linecache.getlines(path)

注意：linecache模塊使用了緩存，所以存在以下問題：

1. 在使用linecache模塊讀取文件內容以后，如果文件發生了變化，那么需要使用 linecache.updatecache(filename) 來更新緩存，以獲取最新變化。
2. linecache模塊使用緩存，所以會耗費內存，耗費量與要解析的文件相關。最好在使用完畢后執行 linecache.clearcache() 清空一下緩存。

當然，作為優化，這里可以利用 生成器 來進行優化。暫且按下不表。

處理日志條目

一條日志信息就是一個特定格式的字符串，因此使用 正則表達式 來解析，這里使用Python的 re 模塊。

下面，一條一條建立規則：

規則

    ip = r"?P[d.]*"
    date = r"?Pd+"
    month = r"?Pw+"
    year = r"?Pd+"
    log_time = r"?PS+"
    method = r"?PS+"
    request = r"?PS+"
    status = r"?Pd+"
    bodyBytesSent = r"?Pd+"
    refer = r"""?P
             [^"]*
             """
    userAgent=r"""?P
                .*
               """

解析

p = re.compile(r"(%s) - - [(%s)/(%s)/(%s):(%s) [S]+] "(%s)?[s]?(%s)?.*?" (%s) (%s) "(%s)" "(%s).*?"" %( ip, date, month, year, log_time, method, request, status, bodyBytesSent, refer, userAgent ), re.VERBOSE)
m = re.findall(p, logline)

這樣，就可以得到日志條目中各個要素的原始數據。

格式及內容轉化

得到日志原始數據之后，需要根據業務要求，對原始數據進行格式及內容轉化。這里需要處理的內容包括：時間，request，userAgent

時間格式轉化

在日志信息原始數據中存在 Dec 這樣的信息，利用Python的 time 模塊可以方便的進行解析

importtime
 
defparsetime(date, month, year, log_time):
    time_str = '%s%s%s %s' %(year, month, date, log_time)
    return time.strptime(time_str, '%Y%b%d %H:%M:%S')

解析request

在日志信息原始數據中得到的 request 的內容格式為：

/report?XXXXXX

這里只需要根據協議取出 XXXXXX 即可。

這里仍然采用Python的 re 模塊

import re
def parserequest(rqst):
    param = r"?P.*"
    p = re.compile(r"/report?(%s)" %param, re.VERBOSE)
    return re.findall(p, rqst)

接下來需要根據業務協議解析參數內容。這里需要先利用 base64 模塊解碼，然后再利用 struct 模塊解構內容：

importstruct
importbase64
defparseparam(param):
    decodeinfo = base64.b64decode(param)
    s = struct.Struct('!x' + bytes(len(decodeinfo) - (1 + 4 + 4 + 12)) + 'xii12x')
    return s.unpack(decodeinfo)

解析userAgent

在日志信息原始數據中userAgent數據的格式為：

XXX; XXX; XXX; XXX

根據業務要求，只需要取出最后一項即可。

這里采用 re 模塊來解析。

importre
 
defparseuseragent(useragent):
    agent = r"?P.*"
    p = re.compile(r".*;.*;.*;(%s)" %agent, re.VERBOSE)
    return re.findall(p, useragent)

至此，nginx日志文件解析基本完成。

剩下的工作就是根據業務需要，對獲得的基本信息進行處理。

來自： http://python.jobbole.com/84724/