部署流水線搭建小記:Docker、Jenkins、Java和Couchbase
這篇文章講述了如何用Jenkins和Docker來為一個需要和數據庫交互的Java應用創建 部署流水線(deployment pipeline )。
Jenkins支持創建流水線。它使用一種基于Groovy的流水線領域特定語言( Pipeline DSL )的簡單腳。
而這些腳本,通常名字叫 Jenkinsfile 。它定義了一些根據指定參數執行簡單或復雜的任務的步驟。流水線創建好后,可以用來構建代碼,或者編排從代碼提交到交付過程中所需的工作。
流水線包括步驟( Step ),節點( Node )和階段( Stage )。流水線執行在節點上。節點是Jenkins安裝的一部分。流水線通常包含多個階段。一個階段包含多個步驟。
對于我們本文中的應用,其基本的部署流程是這樣的:
- 開發者更新工作區
- Jenkins收到通知
- Jenkins克隆工作區
- Jenkins創建一個Docker鏡像
- Jenkins運行測試
- Jenkins將鏡像推到Docker Hub
應用的完整代碼放在了 Github倉庫 上。
應用位于倉庫中的 webapp 目錄。應用會借助 Couchbase的Java SDK ,使用一個到Couchbase數據庫的連接,保存一個簡單的JSON文檔。應用同時包含一個測試,以驗證數據庫是否包含持久化的文檔。
下載并安裝Jenkins
從jenkins.io下載Jenkins。這里使用的是Jenkins 2.21。
先把Jenkins啟動起來:
JENKINS_HOME=~/.jenkins java -jar ~/Downloads/jenkins-2.21.war --httpPort=9090
這條命令指定了Jenkin家目錄的路徑。家目錄下面存放了所有的配置信息。同時指定了Jenkins的監聽端口。這里指定的是9090端口。
啟動Jenkins會在中終端中看到如下消息:
Jenkins initial setup is required. An admin user has been created and a password generated. Please use the following password to proceed to installation: (譯文:Jenkins需要初始化的設置。我們已經為你創建好了一個管理員用戶生成好了密碼。請使用下面密碼繼續安裝。) 3521fbc3d40448efa8942f8e464b2dd9 This may also be found at: /Users/arungupta/.jenkins/secrets/initialAdminPassword (譯文:這個密碼的內容同時也可以在`/Users/arungupta/.jenkins/secrets/initialAdminPassword`中找到。)
復制一下終端中顯示的密碼,這個密碼會用來解鎖Jenkins。
在瀏覽器中輸入 localhost:9090 訪問Jenkins,然后粘貼密碼:
點擊 Next 進入下一步:
創建第一個如圖所示的管理員用戶:
點擊 Save and Finish 繼續。
點擊 Install suggested plugins :
然后就會安裝好一批默認的插件:
(很奇怪Ant和Subversion是默認的插件。)
然后會彈出登陸框:
輸入之前創建好的用戶名和密碼。
最后Jenkins就可以使用了。
不得不說,要安裝好一個簡單的Jenkins所需要的步驟不少。真的有必要需要這么多步驟才能開始使用Jenkins嗎?能不能有一個更簡單,更傻瓜,更偷懶的方式來開始使用Jenkins呢?希望能遵守管理優先原則( Convention-over-Configuration )然后提供一個預先配置好的一鍵安裝包。
創建Jenkins作業
讓我們在Jenkins中創建一個用來運行流水線的作業。
-
在Jenkins重啟之后,他會顯示一個登陸界面。輸入之前創建的用戶名和密碼。這會把你帶回到 Installing Plugins/Upgrade 頁面。點擊頁面左上角的Jenkins圖標,可看到主控制面板:
-
點擊 create new job ,作業的名字取做 docker-jenkins-pipeline ,類型選 Pipeline 。
點擊OK按鈕。
-
按照如圖所示對流水線進行配置:
這里我們使用了本地的倉庫。你當然也可以選擇托管在Github上的倉庫。另外,這個倉庫可以配置一個git鉤子或者定時的輪詢器來觸發流水線的運行。點擊 Save 按鈕來保存配置。
讓Jenkins進行構建
在啟動這個作業之前,Couchbase數據庫需要顯式地進行啟動:
docker run -d --name db -p 8091-8093:8091-8093 -p 11210:11210 arungupta/oreilly-couchbase:latest
這個問題會在 編號9的問題 修復之后得以解決。確保你可以使用用戶名 Administrator 和密碼 password ,通過 http://localhost:8091 來訪問Couchbase。點擊 Data Bucket 標簽頁可以看到創建的名為 books 的Bucket。
點擊 Build Now 你應該看見下圖類似的輸出:
看起來一切正常。
讓我們來試著理解下背后發生了什么。
Jenkinsfile描述了流水線是如何構建的。從整體看它有四個階段 - 打包、創建Docker鏡像、運行應用和運行測試。每一個階段在Jenkins的控制面板都是以一個方框顯示的。每一個階段花費的總體時間顯示在每一個方框中間。
然后我們試著理解每一個階段都做了什么事情。
打包:
應用的的源碼位于 webapp 目錄下。而這一條Maven命令:
mvn clean package -DskipTests
用來創建應用的JAR包。注意Maven項目也包含測試,但是這里被故意通過 -DskipTests 忽略了。
通常,測試會 分開放在一個下游的項目中 。Maven項目創建一個應用的Fat JAR(譯者注:Fat JAR是把項目所有類文件、資源文件和依賴打包在一起的JAR)文件并且包含所有的依賴。
創建Docker鏡像:
應用的Docker鏡像是使用 webapp 目錄下的Dockerfile來構建的。這個鏡像僅僅包含一個Fat JAR,可以通過 java -jar 來運行。
每一個鏡像都使用構建編號打上了標簽:
${env.BUILD_NUMBER}
運行應用:
運行應用需要運行應用的Docker容器。數據庫容器的IP地址可以通過下面這條命令來查到:
docker inspect
數據庫容器和應用容器同時運行在默認的 bridge 網絡中。這可以讓兩個容器來互相溝通。也可以在swarm模式的集群中運行流水線,這需要創建并且使用覆蓋網絡。
運行測試:
測試可以使用如下命令來進行:
mvn test
如果測試通過,鏡像會被推送到Docker Hub。不管測試是否成功,運行結構都能捕獲到。同時我們顯示了 try/catch/finally 塊在Jenkinsfile中的使用。如果測試通過了,那鏡像就會推送到Docker Hub中。在我們這個例子中,它被推送到了 這里 。
待辦事項
-
把測試移到一個下游的項目中( #7 )
-
使用Git鉤子或者輪詢來觸發流水線( #8 )
-
自動化數據庫的啟動與停止( #9 )
-
用Swarm模式下的Docker引擎集群來運行流水線( #10 )
-
增加額外的配置來將鏡像推送到bintray( #11 )
-
另外一個痛點找不到關于全局變量語法的文檔。只有在 <JENKINS-HOST>:<JENKINS-PORT>/job/docker-jenkins-pipeline/pipeline-syntax/globals 能找到相關內容。這一點點戳。
-
“ 不是不可能,只是還沒有實現 ” #sadpanda
來自:http://dockone.io/article/1735