logstash日志分析的配置和使用

dums6377 8年前發布 | 14K 次閱讀 Logstash

來自： http://www.cnblogs.com/yincheng/p/logstash.html

logstash是一個數據分析軟件，主要目的是分析log日志。整一套軟件可以當作一個MVC模型，logstash是controller層，Elasticsearch是一個model層，kibana是view層。

首先將數據傳給logstash，它將數據進行過濾和格式化（轉成JSON格式），然后傳給Elasticsearch進行存儲、建搜索的索引，kibana提供前端的頁面再進行搜索和圖表可視化，它是調用Elasticsearch的接口返回的數據進行可視化。logstash和Elasticsearch是用Java寫的，kibana使用node.js框架。

這個軟件官網有很詳細的使用說明， https://www.elastic.co/ ，除了docs之外，還有視頻教程。這篇博客集合了docs和視頻里面一些比較重要的設置和使用。

一、logstash的配置

1. 定義數據源

寫一個配置文件，可命名為logstash.conf，輸入以下內容：

input { file { path => "/data/web/logstash/logFile//" start_position => "beginning" #從文件開始處讀寫 }

stdin {} #可以從標準輸入讀數據

}</pre>

定義的數據源，支持從文件、stdin、kafka、推ter等來源，甚至可以自己寫一個input plugin。如果像上面那樣用通配符寫file，如果有新日志文件拷進來，它會自動去掃描。

2. 定義數據的格式

根據打日志的格式，用正則表達式進行匹配

filter {

定義數據的格式

grok { match => { "message" => "%{DATA:timestamp}|%{IP:serverIp}|%{IP:clientIp}|%{DATA:logSource}|%{DATA:userId}|%{DATA:reqUrl}|%{DATA:reqUri}|%{DATA:refer}|%{DATA:device}|%{DATA:textDuring}|%{DATA:duringTime:int}||"} }

}</pre>

由于打日志的格式是這樣的：

2015-05-07-16:03:04|10.4.29.158|120.131.74.116|WEB|11299073|http://quxue.renren.com/shareApp?isappinstalled=0&userId=11299073&from=groupmessage|/shareApp|null|Mozilla/5.0 (iPhone; CPU iPhone OS 8_2 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Mobile/12D508 MicroMessenger/6.1.5 NetType/WIFI|duringTime|98||

以|符號隔開，第一個是訪問時間，timestamp，作為logstash的時間戳，接下來的依次為：服務端IP，客戶端的IP，機器類型(WEB/APP/ADMIN)，用戶的ID(沒有用0表示)，請求的完整網址，請求的控制器路徑，reference，設備的信息，duringTime，請求所花的時間。

如上面代碼，依次定義字段，用一個正則表達式進行匹配，DATA是 logstash定義好的正則，其實就是(.*?)，并且定義字段名。

我們將訪問時間作為logstash的時間戳，有了這個，我們就可以以時間為區分，查看分析某段時間的請求是怎樣的，如果沒有匹配到這個時間的話，logstash將以當前時間作為該條記錄的時間戳。需要再filter里面定義時間戳的格式，即打日志用的格式：

filter {

定義數據的格式

grok {#同上... }

定義時間戳的格式

date { match => [ "timestamp", "yyyy-MM-dd-HH:mm:ss" ] locale => "cn" }

}</pre>

在上面的字段里面需要跟logstash指出哪個是客戶端IP，logstash會自動去抓取該IP的相關位置信息：

filter {

定義數據的格式

grok {#同上}

定義時間戳的格式

date {#同上}

定義客戶端的IP是哪個字段（上面定義的數據格式）

geoip { source => "clientIp" } }</pre>

同樣地還有客戶端的UA，由于UA的格式比較多，logstash也會自動去分析，提取操作系統等相關信息

  #定義客戶端設備是哪一個字段
  useragent {
    source => "device"
    target => "userDevice"
  }

哪些字段是整型的，也需要告訴logstash，為了后面分析時可進行排序，使用的數據里面只有一個時間

  #需要進行轉換的字段，這里是將訪問的時間轉成int，再傳給Elasticsearch
  mutate {
    convert => ["duringTime", "integer"]
  }

3. 輸出配置

最后就是輸出的配置，將過濾扣的數據輸出到elasticsearch

output {

將輸出保存到elasticsearch，如果沒有匹配到時間就不保存，因為日志里的網址參數有些帶有換行

if [timestamp] =~ /^\d{4}-\d{2}-\d{2}/ { elasticsearch { host => localhost } }

輸出到stdout

stdout { codec => rubydebug }

定義訪問數據的用戶名和密碼

user => webService

password => 1q2w3e4r

}</pre>

我們將上述配置，保存到logstash.conf，然后運行logstash

在logstash啟動完成之后，輸入上面的那條訪問記錄，logstash將輸出過濾后的數據：

可以看到logstash，自動去查詢IP的歸屬地，并將請求里面的device字段進行分析。

二、配置Elasticsearch和kibana

1. Elasticsearch

這個不需要怎么配，使用默認的配置即可。配置是: config/elasticsearch.yml

如果需要設置數據的過期時間，可以加上這兩行（目測是這樣配的，沒有驗證過，讀者可以試一下）：

#設置為30天過期

indices.cache.filter.expire: 30d

index.cache.filter: 30d</pre>

Elasticsearch默認監聽在9200端口，可對其進行查詢和管理，例如看索引的健康狀態：

curl 'localhost:9200/_cluster/health?level=indices&pretty'

輸出

{
  "cluster_name" : "elasticsearch",
  "status" : "yellow",
  "timed_out" : false,
  "number_of_nodes" : 2,
  "number_of_data_nodes" : 1,
  "active_primary_shards" : 161,
  "active_shards" : 161,
  "relocating_shards" : 0,
  "initializing_shards" : 0,
  "unassigned_shards" : 161,
  "number_of_pending_tasks" : 0,
  "indices" : {
    "logstash-2015.05.05" : {
      "status" : "yellow", #有三級，green, yellow和red
      "number_of_shards" : 5,
      "number_of_replicas" : 1,
      "active_primary_shards" : 5,
      "active_shards" : 5,
      "relocating_shards" : 0,
      "initializing_shards" : 0,
      "unassigned_shards" : 5
    }
}

可在瀏覽器進行訪問，例如查詢一下使用chrome瀏覽器情況：

2. kibana

這個也不用配置，默認監聽在5601端口。

#讓它運行在后臺
localhost# nohup bin/kibana &

注意以上兩個要使用Java 7以上版本，還有小版本要求，下一個最新的Java 8即可，然后在啟動腳本里export JAVA_HOME;

三、可視化數據分析

訪問5601端口，如localhost:5601，打開kibana

1. 生成索引名稱

第一次訪問kibana會重定向到設置索引的頁面：

在藍色方框里輸入要進行探索的索引，如果輸入logstash-*就是匹配所有的索引，還可以指定日期，logstash的索引是按日期區分的，一個日期一個文件夾

因此也可以輸入logstash-2015.05*，那么如果用這個索引名稱，在接下來的操作都是針對5月份的記錄。也可以再一個六月份的，在接下來的過程中在網頁左上角索引那里隨時進行切換。

2. 按天查看上月份的訪問量

點左上角的discover

再點右上角的時鐘，選時間

有三種格式的時間可以選擇，我們選擇上一個月，就可以看到上月份的訪問情況：

3. 按地域訪問情況

點擊上面菜單欄的visualize，選擇最后一個條形圖，再選擇from a new search

在左邊的窗口里選擇X-Axis，然后，Aggregation選擇Date Histogram，Interval選擇Daily，以天為單位

再點擊上圖的綠色箭頭，右邊出來日訪問量：

接著點擊左邊的Add Sub-buckets，選擇split bars，然后Sub Aggression選擇Terms，相應的Field選擇city_name，如下圖：

點綠色的播放按鈕，右邊出來按照每天最高訪問量的5個城市：

然后把它保存到Dashboard里，等會還要進行比較，點擊右上角的save按鈕，再起個名字

點擊上面菜單欄的Dashboard，將剛剛保存的加進去。

接下來我們看一下，這幾個城市的人分別訪問的哪些接口比較多，可能可以看出不同地域的人對什么感興趣

4. 查看不同城市的人訪問接口的異同

點擊Visulize（點兩次），選擇倒數第三個的餅圖，接下來的操作類型于上面，按回車：

可以看出五月份的訪問量，北京最多，然后就是長沙、天津、河北。

接著，Add sub-buckets，如下配置

可以看出，北京訪問的接口從高到低今次是getdataversion、getthomeinfo、getactivitys等。然后繼續保存到Dashboard。

再看下訪問比較活躍的是哪幾個IP

5. 查看訪問量最高的幾個IP

繼續點visualize，選擇data table，相應的配置類似于上面，返回一個前20個最活躍的IP的表格：

保存到面板

然后再看下5月份，總的訪問量

6. 總點擊量

在visualize那里選擇metric，總的訪問量為：

還可以看下在地圖上的分布

7. 地圖分布

在visualize選擇Title map

可以看出訪問量主要集中在北京一帶。

同樣保存到面板，現在在面板保存了5張圖：

8. Dashboard的相關聯操作

Dashboard的一個強大之處是可以進行關聯查看。例如說要看一下最活躍的IP，是什么時候訪問的，訪問了哪些接口。

只需要在上圖左下角的clientIP點一下相應的IP即可，面板里的其它各圖都會相應地變化。

9. 搜索

kibana每個頁面都有一個搜索的輸入框，進行的任何可視化都可以通過搜索動態地改變.

kibana的搜索使用 Luence語法，常用的可能就以下幾個

（1）字段名:值

點擊上面菜單的Discover，在搜索那里輸入: clientIp:123.125.40.1，就可以調出這個IP，該段時間內所進行的所有訪問，然后再進行后續其它的各種操作。

例如再看下他使用什么設備訪問，在左邊側欄點擊userDevice.os_name，再點Visualize

可以看出他使用的是ios系統比較多：

（2）To 范圍

字段是Number型的支持范圍搜索，例如看下響應時間在1000ms以上的。搜索duringTime:[1000 TO 1000000000]

看下是哪些接口，設置y軸為平均響應時間，就可以看出哪些接口的調用比較耗時：

（3）支持and or ()的組合，這里不再說明。

這里只是根據自已的日志進行一個分析，讀者可根據自己的數據內容做相關的挖掘

參考：

1. https://www.elastic.co/ logstash官網

</div>

本文由用戶 dums6377 自行上傳分享，僅供網友學習交流。所有權歸原作者，若您的權利被侵害，請聯系管理員。

轉載本站原創文章，請注明出處，并保留原始鏈接、圖片水印。

本站是一個以用戶分享為主的開源技術平臺，歡迎各類分享！

本文地址：http://www.baiduhome.net/lib/view/open1454332838042.html

Logstash

logstash日志分析的配置和使用

一、logstash的配置

1. 定義數據源

相關經驗

相關資訊

相關文檔

目錄