gearman隊列持久化引發的問題及解決方法

KrystynaEri 8年前發布 | 8K 次閱讀

來自: http://blog.csdn.net//jiao_fuyou/article/details/50478289


這篇文章主要介紹了gearman隊列持久化引發的問題及解決方法,需要的朋友可以參考下
本文簡述了gearman用mysql持久化的方法,以及由此引發的一些問題,具體分析如下:
一、gearman 創建Mysql持久化隊列的方式如下:

  1. 登入mysql命令行,運行:   
    create database gearman; 


     2. 啟動gearman,命令如下:
    /usr/local/gearman/sbin/gearmand -p 4730 -L 0.0.0.0 --log-file=/tmp/gearmand-4730.log --pid-file=/tmp/gearmand-4730.pid -q MySQL --mysql-host=localhost --mysql-user=root --mysql-db=gearman --verbose DEBUG -d 


    具體的參數,根據自己的服務器狀況去修改就行了。
     
  2. 再次登入mysql命令行,執行:
    use gearman; 
    show tables; 


    就可以看到下面多了個“gearman_queue”的表。
    這樣,gearman就變成了持久化的方式。
     
    二、gearman用mysql持久化之后,會帶來如下一些問題:
  3. 每個任務都會寫入數據庫,這樣會帶來磁盤IO的損耗,并且gearman的性能瓶頸又多了一個可能,就是由數據庫引起的性能問題。
  4. mysql有個“wait_timeout”的參數,在mysql命令行中運行
    show variables like "%timeout%"; 


    可以看到wait_timeout的值,默認是28800。也就是說,如果一個mysql的連接,超過28800s沒有任何響應,就會斷開。
     
  5. gearman持久化的方式,如果超過了mysql的wait_timeouts的時間沒有任何響應,和數據庫的連接就會被mysql斷開,而且gearman目前是沒有mysql重新連接的,結果就是,會導致如下錯誤,必須重啟gearman才能重新正常工作。
     
    gearman報錯:
    ERROR 2014-04-01 02:10:02.897899 [ proc ] mysql_stmt_execute failed: -> libgearman-server/plugins/queue/mysql/queue.cc:357
    ERROR 2014-04-01 02:10:02.897910 [ proc ] gearman_server_job_add gearman_server_run_command(QUEUE_ERROR) -> libgearman-server/server.cc:301
    所以,gearman持久化方式帶來的缺點顯而易見,該方式下,要避免gearman對mysql連接超時斷開,可以將mysql的wait_timeout參數改大。
     
    或者,干脆直接放棄用mysql的持久化方式。
 本文由用戶 KrystynaEri 自行上傳分享,僅供網友學習交流。所有權歸原作者,若您的權利被侵害,請聯系管理員。
 轉載本站原創文章,請注明出處,并保留原始鏈接、圖片水印。
 本站是一個以用戶分享為主的開源技術平臺,歡迎各類分享!