用Git子模塊和Docker Compose實現高效開發工作流

jopen 9年前發布 | 45K 次閱讀 Git 版本控制系統

搭建開發環境一直讓程序員們頭疼,本文使用Git子模塊和Docker Compose實現高效率的開發工作流,讓程序員能夠輕松搭建出開發環境,把精力投入到需要開發的應用本身。

問題

自我們從Continuous Software雇傭了第一位遠程開發的程序員以來,我們就意識到精簡開發工作流的重要性。當新入職的程序員接手由很多應用組成的復雜項目時,我們想盡量避免以下這幾個問題:

  • 缺少stack模塊:Node.js、PHP、PostgreSQL等
  • 不清楚項目組件/應用的總體概況
  • 本地配置沖突:監聽端口、數據庫配置等
  • </ul>
    此外,就我個人經驗而言,我們這樣的程序員太容易找不著北了。曾經,我入職一個公司的第一整天都花在搭建開發環境上,試圖去理解所有的東西怎么才能一起工作,而無法直接就去理解公司開發的應用到底是怎么工作的。

    方案

    在具體介紹如何解決上述問題之前,我先介紹下我們項目使用的開發工作流。

    我們的每個項目都在Bitbucket上有自己的Team(和GitHub上的Organization對應)。每個應用都會在Team下創建一個Repository(比如,api、dashboard、cpanel)。在這些子模塊之上,創建了一個名為development的Repository。子模塊的同一層級有README.md和docker-compose.yml兩個文件。

    kytwb@continuous:~/path/to/<project>/$ ls -la
    total 40
    drwxrwxr-x 11 kytwb amine 4096 Mar 14 16:30 .
    drwxr-xr-x  4 kytwb amine 4096 Nov  1 20:17 ..
    drwxr-xr-x 20 kytwb amine 4096 Mar 11 14:24 api
    drwxr-xr-x 11 kytwb amine 4096 Mar  3 13:21 cpanel
    drwxr-xr-x 10 kytwb amine 4096 Mar 12 11:37 dashboard
    -rw-r--r--  1 kytwb amine 2302 Mar  2 15:28 docker-compose.yml
    drwxrwxr-x  9 kytwb amine 4096 Mar 14 16:30 .git
    -rw-r--r--  1 kytwb amine  648 Dec 22 17:20 .gitmodules
    -rw-r--r--  1 kytwb amine 1706 Dec 17 16:41 README.md

    當新程序員加入項目時,只需在Bitbucket上瀏覽developmentrepository,根據README.md的步驟就可以快速搭建環境。具體步驟如下所示:

    $ git -v
    $ docker -v
    $ docker-compose -v
    $ git clone git@bitbucket.com:<project>/development.git <project> && cd <project>
    $ git submodule init && git submodule update
    $ git submodule foreach npm install
    $ docker-compose up -d

    至此,一切就都已經搭建好,并運行在本地機器上了。

    實現原理

    本章介紹我們是如何實現上述工作流的。

    前提條件

    $ git -v
    $ docker -v
    $ docker-compose

    由于我們的開發堆棧完全基于Docker,所以,程序員需要先安裝Docker。這時他們不需要特別熟悉Docker,只需要在開發時使用Docker即可,我們間接地將他們引入到了容器的世界,之后會以此為橋梁向他們解釋如何使用Docker實現持續集成、持續交付等等。README.md中并沒有詳細介紹如何安裝Docker,因為安裝很簡單。

    當docker-compose還叫Fig的時候我們就已經用它來編排開發堆棧里的容器。之后Docker收購了Fig,重命名為Docker Compose。有人提議將Docker Compose合并到Docker代碼里,但是基于很多原因最終并沒有這么做,所以Docker Compose仍然需要單獨安裝。

    同樣地,本文沒有詳細介紹Docker Compose的安裝,因為很簡單。

    搭建倉庫(Repository)

    如前所述,需要創建一個開發倉庫,以及為每個應用創建對應的倉庫。這里我們創建了api、dashboard和cpanel。當創建這些倉庫的時候,重點關注development倉庫的搭建。

    $ git clone git@bitbucket.com:<project>/development.git <project> && cd <project>

    現在將應用程序的倉庫添加為development倉庫的子模塊,只需要鍵入如下命令:

    $ git submodule add git@bitbucket.org:<project>/api.git
    $ git submodule add git@bitbucket.org:<project>/dashboard.git
    $ git submodule add git@bitbucket.org:<project>/cpanel.git

    這樣,你的development倉庫根目錄下會創建出.gitmodules文件。程序員也就可以在克隆developmentrepository的時候一次得到所有的應用程序并運行:

    $ git submodule init && git submodule update

    更多子模塊的信息,請參考Git官方文檔

    Docker化一切

    現在我們已經搭建好了development倉庫,可以通過cd的方式訪問所有不同的應用程序。接下來我們要用之前提到的編排工具:Docker Compose來容器化所有的應用及其配置。

    首先從api應用程序開始。打開docker-compose.yml,為API聲明一個容器,并為這個容器選擇基礎鏡像。本示例中的代碼基于Node.js,因此選擇官方Node.js鏡像:

    api:
    image: dockerfile/nodejs

    這時,運行命令docker-compose up -d會創建出一個名為&lt;project>_api_1的容器,這個容器什么也不做(啟動后立即退出)。運行命令docker-compose ps可以得到由docker-compose.yml編排的所有容器的信息。

    接下來配置api容器,使其多一些功能。為了實現這個目的,我們需要:

    • 將源代碼掛載到容器中
    • 聲明用什么命令運行應用
    • 暴露合適的端口以供訪問應用
    • </ul>
      這樣配置文件類似:

      api:
      image: dockerfile/nodejs
      volumes:
      - ./api/:/app/
      working_dir: /app/
      command: npm start
      ports:
      - "8000:8000"

      現在再運行docker-compose up -d,就啟動了api應用,可以在http://localhost:8000訪問它。這個程序可能會崩潰,可以使用docker-compose logs api檢查容器日志。

      這里,我懷疑api的崩潰是因為它連不上數據庫。因此需要添加database容器,并讓api容器能夠使用它。

      api:
      image: dockerfile/nodejs
      volumes:
      - ./api/:/app/
      working_dir: /app/
      command: npm start
      ports:
      - "8000:8000"
      links:
      - database
      database:
      image: postgresql
      ports:
      - "5432:5432"

      通過創建database容器,并將其連接到api容器,我們就可以在api容器里找到database。要想展示API的環境(比如,console.log(process.env)),必須使用如下變量,比如POSTGRES_1_PORT_5432_TCP_ADDR和POSTGRES_1_PORT_5432_TCP_PORT。這是我們在API的配置文件里使用的關聯到數據庫的變量。

      通過link指令,這個數據庫容器被認為是API容器的依賴條件。這意味著Docker Compose在啟動API容器之前一定會先啟動數據庫容器。
      現在我們用同樣的方式描述其它應用程序。這里,我們可以通過環境變量API_1_PORT_8000_TCP_ADDR和API_1_PORT_8000_TCP_PORT,將api連接到dashboard和cpanel應用。

      - ./api/:/app/
      working_dir: /app/
      command: npm start
      ports:
      - "8000:8000"
      links:
      - database
      database:
      image: postgresql
      dashboard:
      image: dockerfile/nodejs
      volumes:
      - ./dashboard/:/app/
      working_dir: /app/
      command: npm start
      ports:
      - "8001:8001"
      links:
      - api
      cpanel:
      image: dockerfile/nodejs
      volumes:
      - ./api/:/app/
      working_dir: /app/
      command: npm start
      ports:
      - "8002:8002"
      links:
      - api

      就像之前為數據庫修改API配置文件一樣,可以為dashboard和cpanel應用使用類似的環境變量,從而避免硬編碼。

      現在可以再次運行docker-compose up -d命令和docker-compose ps命令:

      kytwb@continuous:~/path/to/<project>$ docker-compose up -d
      Recreating <project>_database_1...
      Recreating <project>_api_1...
      Creating <project>_dashboard_1...
      Creating <project>_cpanel_1...
      kytwb@continuous:~/path/to/<project>$ docker-compose ps

      Name                     Command              State      Ports           

      <project>_api_1         npm start            Up         0.0.0.0:8000->8000/tcp <project>_dashboard_1   npm start            Up         0.0.0.0:8001->8001/tcp <project>_cpanel_1      npm start            Up         0.0.0.0:8002->8002/tcp <project>_database_1    /usr/local/bin/run   Up         0.0.0.0:5432->5432/tcp</pre>
      應用應該就已經啟動并運行了。
      http://localhsot:8000可以訪問api。
      http://localhsot:8001可以訪問dashboard。
      http://localhsot:8002可以訪問cpanel。

      更進一步

      本地路由

      在使用docker-compose up -d運行所有容器之后,可以通過http://localhost:<application_port>訪問我們的應用。基于當前配置,我們可以很容易地使用jwilder/nginx-proxy加上本地路由功能,這樣就可以使用和生產環境類似的URL訪問本地應用了。比如,通過http://api.domain.local訪問http://api.domain.com的本地版本。
      jwilder/nginx-proxy鏡像將一切變得很簡單。只需要在docker-compose.yml里加上描述去創建一個名為nginx的新容器。根據jwilder/nginx-proxy的README文件(掛載Docker守護進程socket,暴露80端口)配置該容器就可以了。之后,在現有容器里再添加額外的環境變量VIRTUAL_HOST和VIRTUAL_PORT,如下:

      api:
      image: dockerfile/nodejs
      volumes:
      - ./api/:/app/
      working_dir: /app/
      command: npm start
      environment:
      - VIRTUAL_HOST=api.domain.local
      - VIRTUAL_PORT=8000
      ports:
      - "8000:8000"
      links:
      - database
      database:
      image: postgresql
      dashboard:
      image: dockerfile/nodejs
      volumes:
      - ./dashboard/:/app/
      working_dir: /app/
      command: npm start
      environment:
      - VIRTUAL_HOST=dashboard.domain.local
      - VIRTUAL_PORT=8001
      ports:
      - "8001:8001"
      links:
      - api
      cpanel:
      image: dockerfile/nodejs
      volumes:
      - ./api/:/app/
      working_dir: /app/
      command: npm start
      environment:
      - VIRTUAL_HOST=cpanel.domain.local
      - VIRTUAL_PORT=8002
      ports:
      - "8002:8002"
      links:
      - api
      nginx:
      image: jwilder/nginx-proxy
      volumes:
      - /var/run/docker.sock:/tmp/docker.sock
      ports:
      - "80:80"

      nginx容器會檢查所有運行在Docker守護進程之上(通過掛載的docker.sock文件)的容器,為每個容器創建合適的nginx配置文件,并設置VIRTUAL_HOST環境變量。

      要想完成本地路由的搭建,還需要在etc/hosts里添加所有的VIRTUAL_HOST。我是手動用node.js的hostile包來完成這個工作的,不過我猜應該可以自動化實現,就像jwilder/nginx-proxy可以根據nginx配置文件動態變化一樣。這里需要再研究一下。

      現在可以再次運行docker-compose up -d,然后使用和生產環境一樣的url訪問應用程序,只需用.localTLD代替.comTLD。

      建議

      本文發表在AirPair上,如果你對更進一步這一章有任何建議,請隨意fork并修改它。如果你發現本文有任何錯誤,也請幫忙修改。

      原文鏈接:Efficient development workflow using Git submodules and Docker Compose(翻譯:崔婧雯)
      ===========================
      譯者介紹
      崔婧雯,現就職于VMware,高級軟件工程師,負責桌面虛擬化產品的質量保證工作。曾在IBM WebSphere業務流程管理軟件擔任多年系統測試工作。對虛擬化,中間件技術有濃厚的興趣。

 本文由用戶 jopen 自行上傳分享,僅供網友學習交流。所有權歸原作者,若您的權利被侵害,請聯系管理員。
 轉載本站原創文章,請注明出處,并保留原始鏈接、圖片水印。
 本站是一個以用戶分享為主的開源技術平臺,歡迎各類分享!