logstash+es+kibana+redis搭建
環境信息：
CentOS 6.5
redis 3.0.4
logstash
elasticsearch
kibana
服務端ip:192.168.0.65
客戶端ip:192.168.0.66
關系結構圖：
圖片引用自： http://www.wklken.me/posts/2015/04/26/elk-for-nginx-log.html
安裝redis
首先下載redis
wget http://download.redis.io/releases/redis-3.0.4.tar.gz
下載之后解壓，編譯安裝
tar -zvxf redis-3.0.4.tar.gz
make
make install
然后啟動redis
redis-server redis.conf &
添加&符號表示后臺啟動
安裝logstash
服務器端
首先安裝java環境這里使用比較簡單的方法
yum install jdk –y
如果你手動安裝的話建議安裝java1.8
下載logstash
wget https://download.elastic.co/logstash/logstash/logstash-1.5.4.tar.gz
下載之后解壓
tar –zxvf logstash-1.5.4.tar.gz
然后到logstash目錄下，創建config目錄并創建一個logstash_server.conf文件，創建logs目錄存放日志并創建logstash.log文件
編輯文件
vim logstash_server.conf
將一下內容寫入到logstash_server.conf中
input {
redis {
host => "127.0.0.1" #本地的reds地址
port => 6379 #redis端口
type => "redis-input" #輸入類型
data_type => "list" #使用redis的list存儲數據
key => "key_count"
}
}
output {
stdout {}
elasticsearch {
host => "127.0.0.1" #elasticsearch地址
cluster => "elasticsearch"
codec => "json"
protocol => "http" #elasticsearch使用的協議
}
}
配置完成后啟動logstash
bin/logstash agent --verbose --config config/logstash_server.conf --log logs/logstash.log &
數據采集端
數據采集端的安裝步驟與服務器端的安裝步驟相同
只是在配置文件有所不同
在數據采集端創建logstash_client.conf
數據采集端的conf文件配置為：
input {
file {
type => "type_count"
#日志所在的目錄
path => "/data/logs/count/stdout.log", "/data/logs/count/stderr.log"]
exclude => ["*.gz", "access.log"] #排除一些不想加入的日志
}
}
output {
stdout {}
redis {
host => "192.168.0.65"
port => 6379
data_type => "list" #數據類型也要保持一致
key => "key_count" #key 要與服務器端的相同
}
}配置完成后啟動logstash
bin/logstash agent --verbose --config config/logstash_server.conf --log logs/logstash.log &
安裝elasticsearch
下載elasticsearch
wget https://download.elastic.co/elasticsearch/elasticsearch/elasticsearch-1.7.2.tar.gz
解壓： tar –zvxf elasticsearch-1.7.2.tar.gz
elasticsearch 不需要特別的配置，只需要啟動即可
切到elasticsearch的目錄下進行啟動：bin/elasticsearch –d
-d命令表示后臺啟動elasticsearch
安裝kibana
下載kibana
wget https://download.elastic.co/kibana/kibana/kibana-4.1.2-linux-x64.tar.gz
解壓：tar –zxvf kibana-4.1.2-linux-x64.tar.gz
kibana需要配置一下elasearch所在的服務器地址
切到kibana的目錄下
vim config/kibana.yml
找到 elasticsearch_url: " http://localhost:9200" 這一行修改為 elasticsearch_url: http://127.0.0.1:9200
kibana的啟動需要需要一個.kibana的隱藏文件，可以在啟動kibana之后執行下面的命令：
curl -XPUT localhost:9200/.kibana
測試安裝是否成功
我們啟動redis監控輸入的信息
redis-cli –p 6379 mointor
然后我們到客戶端的日志文件中寫入一些測試信息：
echo 'this is a test message!' >> /data/logs/count/stderr.log
會看到服務器端接收到信息：
到此，基本的搭建就已經完成了
最后推薦幾個kibana使用的地址：