thorns_project 分布式異步隊列系統

jopen 10年前發布 | 20K 次閱讀 分布式/云計算/大數據 thorns_project

thorns_project 分布式異步隊列系統，wydomain分析目標系統信息后，返回給thorns控制臺進行任務調度下發至redis隊列系統，worker客戶端從redis隊列系統獲取任務給wyportmap執行，將結果存入后臺數據庫。


運行流程

  • 啟動redis內存服務器，作為隊列存儲數據庫使用

  • 配置芹菜(celery)運行環境，并連接redis隊列內存，讀取執行任務，并返回結果存儲到后端MySQL數據庫

  • 配置任務控制臺花花(flower)，并連接redis隊列內存，管理所有worker客戶端與執行的任務隊列

  • 通過run.py腳本調用celery向隊列壓入任務

  • 通過flower的http api腳本調用api向隊列壓入任務

  • 任務執行的結果自動存入后端數據庫
    • </ul>

    運行環境

    • CentOS、Kali Linux、Ubuntu、Debian
    • Python 2.7.x
    • Redis
    • MysQL
    • Celery
    • Tornado
    • Supervisord

    項目主頁：http://www.baiduhome.net/lib/view/home/1423231053014

 本文由用戶 jopen 自行上傳分享，僅供網友學習交流。所有權歸原作者，若您的權利被侵害，請聯系管理員。
 轉載本站原創文章，請注明出處，并保留原始鏈接、圖片水印。
 本站是一個以用戶分享為主的開源技術平臺，歡迎各類分享！