用Git子模塊和Docker Compose實現高效開發工作流
搭建開發環境一直讓程序員們頭疼,本文使用Git子模塊和Docker Compose實現高效率的開發工作流,讓程序員能夠輕松搭建出開發環境,把精力投入到需要開發的應用本身。
問題
自我們從Continuous Software雇傭了第一位遠程開發的程序員以來,我們就意識到精簡開發工作流的重要性。當新入職的程序員接手由很多應用組成的復雜項目時,我們想盡量避免以下這幾個問題:- 缺少stack模塊:Node.js、PHP、PostgreSQL等
- 不清楚項目組件/應用的總體概況
- 本地配置沖突:監聽端口、數據庫配置等 </ul>
此外,就我個人經驗而言,我們這樣的程序員太容易找不著北了。曾經,我入職一個公司的第一整天都花在搭建開發環境上,試圖去理解所有的東西怎么才能一起工作,而無法直接就去理解公司開發的應用到底是怎么工作的。
方案
在具體介紹如何解決上述問題之前,我先介紹下我們項目使用的開發工作流。我們的每個項目都在Bitbucket上有自己的Team(和GitHub上的Organization對應)。每個應用都會在Team下創建一個Repository(比如,api、dashboard、cpanel)。在這些子模塊之上,創建了一個名為development的Repository。子模塊的同一層級有README.md和docker-compose.yml兩個文件。
kytwb@continuous:~/path/to/<project>/$ ls -la total 40 drwxrwxr-x 11 kytwb amine 4096 Mar 14 16:30 . drwxr-xr-x 4 kytwb amine 4096 Nov 1 20:17 .. drwxr-xr-x 20 kytwb amine 4096 Mar 11 14:24 api drwxr-xr-x 11 kytwb amine 4096 Mar 3 13:21 cpanel drwxr-xr-x 10 kytwb amine 4096 Mar 12 11:37 dashboard -rw-r--r-- 1 kytwb amine 2302 Mar 2 15:28 docker-compose.yml drwxrwxr-x 9 kytwb amine 4096 Mar 14 16:30 .git -rw-r--r-- 1 kytwb amine 648 Dec 22 17:20 .gitmodules -rw-r--r-- 1 kytwb amine 1706 Dec 17 16:41 README.md
當新程序員加入項目時,只需在Bitbucket上瀏覽developmentrepository,根據README.md的步驟就可以快速搭建環境。具體步驟如下所示:
$ git -v $ docker -v $ docker-compose -v $ git clone git@bitbucket.com:<project>/development.git <project> && cd <project> $ git submodule init && git submodule update $ git submodule foreach npm install $ docker-compose up -d
至此,一切就都已經搭建好,并運行在本地機器上了。
實現原理
本章介紹我們是如何實現上述工作流的。前提條件
$ git -v $ docker -v $ docker-compose
由于我們的開發堆棧完全基于Docker,所以,程序員需要先安裝Docker。這時他們不需要特別熟悉Docker,只需要在開發時使用Docker即可,我們間接地將他們引入到了容器的世界,之后會以此為橋梁向他們解釋如何使用Docker實現持續集成、持續交付等等。README.md中并沒有詳細介紹如何安裝Docker,因為安裝很簡單。
當docker-compose還叫Fig的時候我們就已經用它來編排開發堆棧里的容器。之后Docker收購了Fig,重命名為Docker Compose。有人提議將Docker Compose合并到Docker代碼里,但是基于很多原因最終并沒有這么做,所以Docker Compose仍然需要單獨安裝。
同樣地,本文沒有詳細介紹Docker Compose的安裝,因為很簡單。
搭建倉庫(Repository)
如前所述,需要創建一個開發倉庫,以及為每個應用創建對應的倉庫。這里我們創建了api、dashboard和cpanel。當創建這些倉庫的時候,重點關注development倉庫的搭建。$ git clone git@bitbucket.com:<project>/development.git <project> && cd <project>
現在將應用程序的倉庫添加為development倉庫的子模塊,只需要鍵入如下命令:
$ git submodule add git@bitbucket.org:<project>/api.git $ git submodule add git@bitbucket.org:<project>/dashboard.git $ git submodule add git@bitbucket.org:<project>/cpanel.git
這樣,你的development倉庫根目錄下會創建出.gitmodules文件。程序員也就可以在克隆developmentrepository的時候一次得到所有的應用程序并運行:
$ git submodule init && git submodule update
更多子模塊的信息,請參考Git官方文檔。
Docker化一切
現在我們已經搭建好了development倉庫,可以通過cd的方式訪問所有不同的應用程序。接下來我們要用之前提到的編排工具:Docker Compose來容器化所有的應用及其配置。首先從api應用程序開始。打開docker-compose.yml,為API聲明一個容器,并為這個容器選擇基礎鏡像。本示例中的代碼基于Node.js,因此選擇官方Node.js鏡像:
api: image: dockerfile/nodejs
這時,運行命令docker-compose up -d會創建出一個名為<project>_api_1的容器,這個容器什么也不做(啟動后立即退出)。運行命令docker-compose ps可以得到由docker-compose.yml編排的所有容器的信息。
接下來配置api容器,使其多一些功能。為了實現這個目的,我們需要:
- 將源代碼掛載到容器中
- 聲明用什么命令運行應用
- 暴露合適的端口以供訪問應用 </ul>
這樣配置文件類似:
api: image: dockerfile/nodejs volumes: - ./api/:/app/ working_dir: /app/ command: npm start ports: - "8000:8000"
現在再運行docker-compose up -d,就啟動了api應用,可以在http://localhost:8000訪問它。這個程序可能會崩潰,可以使用docker-compose logs api檢查容器日志。
這里,我懷疑api的崩潰是因為它連不上數據庫。因此需要添加database容器,并讓api容器能夠使用它。
api: image: dockerfile/nodejs volumes: - ./api/:/app/ working_dir: /app/ command: npm start ports: - "8000:8000" links: - database database: image: postgresql ports: - "5432:5432"
通過創建database容器,并將其連接到api容器,我們就可以在api容器里找到database。要想展示API的環境(比如,console.log(process.env)),必須使用如下變量,比如POSTGRES_1_PORT_5432_TCP_ADDR和POSTGRES_1_PORT_5432_TCP_PORT。這是我們在API的配置文件里使用的關聯到數據庫的變量。
通過link指令,這個數據庫容器被認為是API容器的依賴條件。這意味著Docker Compose在啟動API容器之前一定會先啟動數據庫容器。
現在我們用同樣的方式描述其它應用程序。這里,我們可以通過環境變量API_1_PORT_8000_TCP_ADDR和API_1_PORT_8000_TCP_PORT,將api連接到dashboard和cpanel應用。
- ./api/:/app/ working_dir: /app/ command: npm start ports: - "8000:8000" links: - database database: image: postgresql dashboard: image: dockerfile/nodejs volumes: - ./dashboard/:/app/ working_dir: /app/ command: npm start ports: - "8001:8001" links: - api cpanel: image: dockerfile/nodejs volumes: - ./api/:/app/ working_dir: /app/ command: npm start ports: - "8002:8002" links: - api
就像之前為數據庫修改API配置文件一樣,可以為dashboard和cpanel應用使用類似的環境變量,從而避免硬編碼。
現在可以再次運行docker-compose up -d命令和docker-compose ps命令:
kytwb@continuous:~/path/to/<project>$ docker-compose up -d Recreating <project>_database_1... Recreating <project>_api_1... Creating <project>_dashboard_1... Creating <project>_cpanel_1... kytwb@continuous:~/path/to/<project>$ docker-compose psName Command State Ports
<project>_api_1 npm start Up 0.0.0.0:8000->8000/tcp <project>_dashboard_1 npm start Up 0.0.0.0:8001->8001/tcp <project>_cpanel_1 npm start Up 0.0.0.0:8002->8002/tcp <project>_database_1 /usr/local/bin/run Up 0.0.0.0:5432->5432/tcp</pre>
應用應該就已經啟動并運行了。
從http://localhsot:8000可以訪問api。
從http://localhsot:8001可以訪問dashboard。
從http://localhsot:8002可以訪問cpanel。更進一步
本地路由
在使用docker-compose up -d運行所有容器之后,可以通過http://localhost:<application_port>訪問我們的應用。基于當前配置,我們可以很容易地使用jwilder/nginx-proxy加上本地路由功能,這樣就可以使用和生產環境類似的URL訪問本地應用了。比如,通過http://api.domain.local訪問http://api.domain.com的本地版本。
jwilder/nginx-proxy鏡像將一切變得很簡單。只需要在docker-compose.yml里加上描述去創建一個名為nginx的新容器。根據jwilder/nginx-proxy的README文件(掛載Docker守護進程socket,暴露80端口)配置該容器就可以了。之后,在現有容器里再添加額外的環境變量VIRTUAL_HOST和VIRTUAL_PORT,如下:
api: image: dockerfile/nodejs volumes: - ./api/:/app/ working_dir: /app/ command: npm start environment: - VIRTUAL_HOST=api.domain.local - VIRTUAL_PORT=8000 ports: - "8000:8000" links: - database database: image: postgresql dashboard: image: dockerfile/nodejs volumes: - ./dashboard/:/app/ working_dir: /app/ command: npm start environment: - VIRTUAL_HOST=dashboard.domain.local - VIRTUAL_PORT=8001 ports: - "8001:8001" links: - api cpanel: image: dockerfile/nodejs volumes: - ./api/:/app/ working_dir: /app/ command: npm start environment: - VIRTUAL_HOST=cpanel.domain.local - VIRTUAL_PORT=8002 ports: - "8002:8002" links: - api nginx: image: jwilder/nginx-proxy volumes: - /var/run/docker.sock:/tmp/docker.sock ports: - "80:80"
nginx容器會檢查所有運行在Docker守護進程之上(通過掛載的docker.sock文件)的容器,為每個容器創建合適的nginx配置文件,并設置VIRTUAL_HOST環境變量。
要想完成本地路由的搭建,還需要在etc/hosts里添加所有的VIRTUAL_HOST。我是手動用node.js的hostile包來完成這個工作的,不過我猜應該可以自動化實現,就像jwilder/nginx-proxy可以根據nginx配置文件動態變化一樣。這里需要再研究一下。
現在可以再次運行docker-compose up -d,然后使用和生產環境一樣的url訪問應用程序,只需用.localTLD代替.comTLD。
建議
本文發表在AirPair上,如果你對更進一步這一章有任何建議,請隨意fork并修改它。如果你發現本文有任何錯誤,也請幫忙修改。
原文鏈接:Efficient development workflow using Git submodules and Docker Compose(翻譯:崔婧雯)
===========================
譯者介紹
崔婧雯,現就職于VMware,高級軟件工程師,負責桌面虛擬化產品的質量保證工作。曾在IBM WebSphere業務流程管理軟件擔任多年系統測試工作。對虛擬化,中間件技術有濃厚的興趣。
本文由用戶 jopen 自行上傳分享,僅供網友學習交流。所有權歸原作者,若您的權利被侵害,請聯系管理員。
轉載本站原創文章,請注明出處,并保留原始鏈接、圖片水印。
本站是一個以用戶分享為主的開源技術平臺,歡迎各類分享!