Redis高級功能 - 慢查詢日志

Redis 提供了5種數據結構,但除此之外, Redis 還提供了注入慢查詢分析, Redis Shell 、 Pipeline 、事務、與 Lua 腳本、 Bitmaps 、 HyperLogLog 、 PubSub 、 GEO 等附加功能,這些功能可以在某些場景發揮很重要的作用.

慢查詢分析

許多存儲系統(如: MySQL )提供慢查詢日志幫助開發與運維人員定位系統存在的慢操作.所謂慢查詢日志就是系統在命令執行前后計算每條命令的執行時間,當超過預設閾值,就將這條命令的相關信息(例如:發生時間,耗時,命令的詳細信息)記錄到慢查詢日志中, Redis 也提供了類似的功能.

Redis 命令執行流程:

1. 發送命令

2. 命令排隊

3. 命令執行

4. 返回結果

需要注意,慢查詢只統計步驟 3 的時間,所以沒有慢查詢并不代表客戶端沒有超時問題.

1) 慢查詢的兩個配置參數

對于慢查詢功能,需要明確兩件事:

• 預設閾值怎么設置?

• 慢查詢記錄存放在那?

Redis 提供了 slowlog-log-slower-than 和 slowlog-max-len 配置來解決這兩個問題.從字面意思就可以看出, slowlog-log-slower-than 就是這個預設閾值,它的單位是毫秒( 1秒=1000000微秒 )默認值是 10000 ,假如執行了一條"很慢"的命令(例如 key * ),如果執行時間超過 10000微秒 ,那么它將被記錄在慢查詢日志中.

如果 slowlog-log-slower-than=0 會記錄所有命令, slowlog-log-slower-than<0 對于任何命令都不會進行記錄.

從字面意思看, slowlog-max-len 只是說明了慢查詢日志最多存儲多少條,并沒有說明存放在哪里?實際上 Redis 使用了一個列表來存儲慢查詢日志, slowlog-max-len 就是列表的最大長度.一個新的命令滿足慢查詢條件時被插入到這個列表中,當慢查詢日志列表已處于其最大長度時,最早插入的一個命令將從列表中移出,例如 slowlog-max-len 設置長度為 64 .當有第 65 條慢查詢日志插入的話,那么隊頭的第一條數據就出列,第 65 條慢查詢就會入列.

在 Redis 中有兩種修改配置的方法,一種是修改配置文件,另一種是使用 config set 命令動態修改.例如下面使用 config set 命令將 slowlog-log-slower-than 設置為 20000微妙 . slowlog-max-len 設置為 1024 :

config set slowlog-log-slower-than 20000
    config set slowlog-max-len 1024
    config rewrite

如果需要將 Redis 將配置持久化到本地配置文件,要執行 config rewrite 命令.如下:

雖然慢查詢日志存放在 Redis 內存列表中,但是 Redis 并沒有暴露這個列表的鍵,而是通過一組命令來實現對慢查詢日志的訪問和管理.

(1) 獲取慢查詢日志

slowlog get [n]

參數 n 可以指定條數.

例:

127.0.0.1:6370> slowlog get
    1) 1) (integer) 666
       2) (integer) 1456786500
       3) (integer) 11615
       4) 1) "BGREWRITEAOF"
    2) 1) (integer) 665
       2) (integer) 1456718400
       3) (integer) 12006
       4) 1) "SETEX"
          2) "video_info_200"
          3) "300"
          4) "2"
...

可以看到每個查詢日志有4個屬性組成,分別是慢查詢日志的表示 id 、發生時間戳、命令耗時、執行命令和參數,慢查詢列表:

(2) 獲取慢查詢日志列表當前長度

slowlog len

例如,當前 Redis 中有 45 條慢查詢:

127.0.0.1:6370> slowlog len
    (integer) 23

(3) 慢查詢日志重置

slowlog reset

實際是對列表做清理操作,例如:

127.0.0.1:6370> slowlog len
    (integer) 23
    127.0.0.1:6370> slowlog reset
    OK
    127.0.0.1:6370> slowlog len
    (integer) 0

2) 實踐

慢查詢功能可以有效地幫助我們找到 Redis 可能存在的瓶頸,但在實際使用過程中要注意以下幾點:

• slowlog-max-len :線上建議調大慢查詢列表,記錄慢查詢時 Redis 會對長命令做階段操作,并不會占用大量內存.增大慢查詢列表可以減緩慢查詢被剔除的可能,例如線上可設置為 1000 以上.

• slowlog-log-slower-than :默認值超過 10 毫秒判定為慢查詢,需要根據 Redis 并發量調整該值.由于 Redis 采用單線程相應命令,對于高流量的場景,如果命令執行時間超過 1 毫秒以上,那么 Redis 最多可支撐 OPS 不到 1000 因此對于高OPS場景下的 Redis 建議設置為 1 毫秒.

• 慢查詢只記錄命令的執行時間,并不包括命令排隊和網絡傳輸時間.因此客戶端執行命令的時間會大于命令的實際執行時間.因為命令執行排隊機制,慢查詢會導致其他命令級聯阻塞,因此客戶端出現請求超時時,需要檢查該時間點是否有對應的慢查詢,從而分析是否為慢查詢導致的命令級聯阻塞.

• 由于慢查詢日志是一個先進先出的隊列,也就是說如果慢查詢比較多的情況下,可能會丟失部分慢查詢命令,為了防止這種情況發生,可以定期執行 slowlog get 命令將慢查詢日志持久化到其他存儲中(例如: MySQL 、 ElasticSearch 等),然后可以通過可視化工具進行查詢.

 

來自：https://segmentfault.com/a/1190000009915519