開源的任務隊列服務HTQ

一、什么是 HTQ

先介紹下基本概念。

我們在編寫程序時，偶爾會遇到需要用到異步隊列的情況。比如說，我發送一萬封郵件，如果單純使用一個for循環來發送，則執行時間要很長，要等很久才能發完，同時很容易導致阻塞、超時等問題。當郵件更多，比如一百萬封的時候，問題會更加明顯。這時最好的解決方案就是把這十萬封郵件排隊，一一發出去。這就是任務隊列的概念。

并且，我們并不需要等到十萬封郵件都發送完畢后才在網站前臺通知用戶。我們可以把郵件一入隊列，就通知用戶。這樣，用戶等待的時間就不是漫長的“發十萬封郵件”的時間，而是“把十萬封郵件排隊”的時間。因此能明顯地縮短了用戶等待時間。這就是異步的概念。

HTQ ，全稱 Http Task Queue ，是一個以Http方式執行異步任務的隊列服務。你可以推送若干url進HTQ隊列,HTQ會以Http GET 的方式訪問這些url。如果url所在的腳本寫上各種具體的任務操作，如發送郵件等，便可以實現異步操作了。HTQ使用node.js編寫，可跟各種后臺語言如PHP、java配合使用以增強異步處理能力。目前支持的隊列類型有實時異步隊列、定時異步隊列、可變異步隊列。

如果你依然對HTQ陌生，則可往下看詳細的應用場景以加深了解。

二、應用場景

1、實時異步隊列

所謂實時，指的是把任務一推進隊列就馬上執行。一個典型的應用場景就是我們上面所說的發送郵件。郵件推送進任務隊列，隊列馬上把它發出去。如果它推進隊列后有其他郵件正在發送中，它則等待當前郵件發送完畢后才發送。

除了發郵件，我們在發文章、發微博、發評論的時候都可以用得上HTQ的實時任務隊列，尤其是數量非常大的時候。比如評論用戶太多，如果一瞬間讓服務器處理，服務器可能因為支撐不了太高的并發從而造成阻塞。這個時候就可以讓評論們進入隊列再一一處理。

2、定時異步隊列

定時，顧名思義，就是在特定的時間執行任務隊列。這種隊列服務可用于定時郵件、定時短信。需要說明的是，這里的定時，不一定是精準的定時。假如你設置了明天12點執行某個任務，那么，它在明天12點的時候將進入隊列。假如隊列中已經有任務在執行，那么它會等待到前面的任務完畢才執行。此時可能是12點01分鐘才執行。

3、可變隊列

我們推送10個任務進隊列，這10個隊列會反復循環地執行，并且它們的執行快慢能夠根據返回情況進行調整，這就是可變隊列。比如，我們做掃描監控，會反復地執行“掃描”這個任務。我們希望，在有異常情況的時候，能加快掃描的速度以便更快速地發現問題；而在沒有長期異常的情況能減慢一下掃描速度以節省機器資源。

再舉一個場景例子，通過API拉取微博新動態。我們網站上有10萬綁定了新浪微博的用戶，我們需要時常獲取他們的最新動態以展示在我們的網站的用戶主頁上。 如果是采用定時獲取動態的方式，那么，假設1分鐘能獲取1千個用戶的動態（因為受API使用頻率和網絡等原因限制，我們獲取不了太快。這里先假設一個數字），那么，獲取完所有用戶狀態需要100分鐘。對用戶來說，他在微博更新動態后，100分鐘后才顯示到我們網站。這明顯滯后太多。有沒有辦法加快點呢？此時可以使用HTQ的可變隊列。可變隊列會對長期沒有更新動態的那部分不活躍用戶進行減緩速度，減緩對他們微博的獲取頻率，同時加大對活躍用戶的獲取頻率。這樣，一個活躍用戶更新微博后，可能10分鐘就能同步到我們網站了。對于不活躍用戶，可能獲取時間會變長了些，但不要緊，我們愿意分配更多的資源去滿足活躍用戶的需求。

使用可變隊列，能讓我們有所側重地使用我們的資源，以減少浪費、增加利用率。

三、安裝和使用

1、安裝

首先安裝好node環境和redis服務，請參考： http://nodejs.cn/download/ 和 http://redis.io/download

clone或下載代碼： https://github.com/star7th/htq

下載到你想要放置的目錄，命令行進入該目錄，執行命令：

npm install

安裝完畢后，執行以下命令啟動：

node htq.js

上面這種啟動方式是臨時運行的，關閉命令行窗口就會停止了。如果想一直在后臺運行，則可：

nohup node htq.js > ~/htq.log 2>&1 &

如果想關閉退出，可運行：

killall -9 node

2、如何使用

啟動后，HTQ默認監聽本機的5999端口。你可以通過此端口訪問HTQ的APi，以添加隊列和任務。詳細的API文檔可看： http://www.showdoc.cc/htq?page_id=37198

你可以根據API文檔來在你的項目中調用API以新建任務。官方提供了一個PHP調用的SDK（在/PHPSDK目錄）。歡迎其他語言的開發者也將HTQ的API封裝成其他語言的SDK

如果要修改默認端口以及默認的redis地址，可修改配置文件config.json。修改完畢需重啟HTQ才能生效

四、安全與容錯

1、程序安全

訪問HTQ 的API時需要填寫簡單的token認證，認證信息在配置文件config.json里定義。為了安全起見，你可以在下載代碼將token設置為其他隨機數。如果你已經啟動了HTQ，則需要關閉后再重啟才能讓新配置生效。

如果你擔心直接執行url會帶來安全隱患，怕自己暴露的url被外部訪問，那你可以在推送進HTQ的url上帶參數簽名校驗。然后在url觸發的任務腳步里檢驗簽名即可。

2、數據安全

HTQ使用redis來儲存隊列。Redis自身帶有持久化功能。如另外需要對數據進行備份，則備份redis即可，不用在業務中實現數據備份。

3、正確性

HTQ能執行url，但不能保證業務上的正確。比如說HTQ確實是觸發了發文章的腳本，然而這個腳步可能自身因為網絡原因發布文章失敗。此時應該在業務層做好相應的容錯處理，比如讓該url重新入隊列。

 

來自：http://www.iteye.com/news/31833