Docker:利用Linux容器實現可移植的應用部署

jopen 10年前發布 | 44K 次閱讀 Docker

Docker是一種在Linux容器里運行應用的開源工具,一種輕量級的虛擬機。除了運行應用,Docker還提供了一些工具,借助Docker Index或自己托管的Docker注冊表對進行了集裝箱化處理的應用進行分發,從而簡化復雜應用的部署過程。

我將在本文介紹如今在部署復雜系統時公司所面臨的挑戰,Docker怎樣有效地解決這個問題,以及Docker的其他用例。

部署的挑戰

服務器應用的部署已經越來越復雜了。把幾個Perl腳本拷貝到正確目錄就完成服務器應用的安裝,這種時代已經一去不復返了。如今的軟件有很多類型的需求:

    <ul><li>對已安裝軟件和庫的依賴(“Python版本高于2.6.3,使用Django 1.2”)</li>

  • 依賴于正在運行的服務(“需要一個MySQL 5.5數據庫和一個RabbitMQ隊列”)
  • 依賴于特定的操作系統(“在64位的Ubuntu Linux 12.04上構建、測試”)
  • 資源需求:
    • 最小的可用內存(“需要1GB的可用內存”)
    • 能綁定特定的端口(“綁定80和443端口”)
    • </ul> </li> </ul>

      我們來看一個相對簡單的應用的部署:Wordpress。Wordpress的安裝通常要求:

      • Apache 2
      • PHP 5
      • MySQL
      • Wordpress源碼
      • 一個Wordpress MySQL數據庫,配置Wordpress使用該數據庫
      • Apache的配置:
        • 加載PHP模塊
        • 支持URL重寫和.htaccess文件
        • 指向WordPress源碼的DocumentRoot

      在服務器上部署、運行這樣一個系統,我們可能會遇到下面的問題和挑戰:

      1. 隔離性:如果我們已經在這個服務器上部署了不同的網站,已有的網站只能在nginx上 運行,而Wordpress依賴于Apache,這時我們就會有麻煩:它們都監聽80端口。同時運行兩個網站是可以的,但需要調整配置(修改監聽端口), 設置反向代理等。庫級別也會出現類似的沖突,如果還要運行一個仍然依賴PHP4的老應用就會出問題,因為Wordpress不再支持PHP4,同時運行 PHP4和PHP5則非常困難。運行在同一個服務器上的應用沒有互相隔離(在文件系統級別和網絡級別),所以它們可能會互相沖突。
      2. 安全性:Wordpress的安全記錄并不是非常好。所以還是給它創建個沙箱,至少黑客入侵時不會影響其他運行的應用。
      3. 升級、降級:升級應用一般會覆蓋現有文件。升級過程中會發生什么?系統要關閉么?如果升級失敗,或者不對該怎么辦?我們怎樣快速回退到先前的版本?
      4. 快照、備份:一旦所有的內容都設置好,就給系統創建一個“快照”,以便能備份快照,甚至能移到另一個服務器上再次啟動,或者拷貝到多個服務器上以備不時之需。
      5. 重復性:系統出新版本之后,比較好的做法是先在測試基礎設施上自動部署并測試,然后再發布到生產系統。通常會利用諸如ChefPuppet等 工具在服務器上自動安裝一堆包,等一切內容都就緒后,再在生產系統上運行相同的部署腳本。這在百分之九十九的情況下都沒有問題。但有百分之一的例外,在部 署到測試環境和生產環境之間的時間跨度里,你依賴的包在包倉庫里有了更新,而新版本并不兼容。結果生產環境的設置和測試環境不同,還有可能破壞生產系統。 假如沒有控制部署的每一個方面(例如托管自己的APT或YUM倉庫),持續在多個階段(比如測試、預演、生產環境)重復搭建出完全相同的系統就很困難。
      6. 資源限制:如果我們的Wordpress耗費CPU資源,并占用了所有的CPU周期,導致其他應用無法做任何事情怎么辦?如果它用盡了全部可用的內存呢?或者瘋狂寫日志阻塞磁盤呢?要是能限制應用的可用資源,比如CPU、內存和磁盤空間,就會非常方便。
      7. 易于安裝:也許有Debian或CentOS包,抑或是能自動執行所有復雜步驟并安裝 Wordpress的Chef菜譜。但這些菜譜很難穩定下來,因為它們需要考慮目標系統上可能的系統配置。很多情況下,這些菜譜只能在干凈的系統上運行。 因此,你不太可能更換成自己的包或Chef菜譜。這樣的話,安裝就是個復雜的系統工程,而不是午休期間就能搞定的事情。
      8. 易于移除:軟件應該能輕松、干凈地移除,不留痕跡。但部署應用通常要調整已有的配置文件、設置狀態(MySQL數據庫的數據,日志),完全移除應用也變得不那么容易。

      那我們應該如何解決這些問題呢?

          <h2>虛擬機!</h2>
      

      我們決定在單獨的虛擬機上運行獨立的應用,例如Amazon的EC2,大部分問題這時會迎刃而解:

      1. 隔離性:在一個VM上安裝一個應用,應用是完全獨立的,除非它們攻入了對方的防火墻。
      2. 重復性:用你喜歡的方式準備系統,然后創建一個AMI。你可以隨意實例化多個AMI實例。完全是可重現的。
      3. 安全性:由于我們完全隔離,如果Wordpress遭到攻擊,其余的基礎設施并不會受到影響——除非你沒有保管好SSH密鑰或者在哪里都使用同一個密碼,但你應該不會這么做吧?
      4. 資源限制:VM會分配特定的CPU周期、可用內存和磁盤空間,沒有加價的話就不能超額。
      5. 易于安裝:越來越多的應用能夠在EC2上運行,只要在AWS marketplace上點擊一個按鈕就能實例化應用。啟動只需要幾分鐘,就是這樣。
      6. 易于移除:不需要某個應用了?銷毀VM。干凈又方便。
      7. 升級、降級:Netflix如何部署代碼里提到,只需要在新VM上部署新版本,然后讓負載均衡器指向部署了新版本的VM。不過應用如果需要在本地保存狀態,這種方法就不是很好用了。
      8. 快照、備份:點擊一個按鈕(或者調用一下API)就能獲得EBS磁盤的快照,快照會備份到S3中。
      9. </ol>

        完美!

        不過……我們有個新問題:虛擬機在兩個方面比較昂貴

        • 金錢:你真的有那么多錢為每個應用啟動一個EC2實例?另外你能預測到需要多少個實例么?如果你以后需要更多的資源,你需要停止VM進行升級——否則就要為閑置資源白白付錢,直到真正用起來(除非你用能動態調整大小的Solaris Zones,比如Joyent上的)。
        • 時間:虛擬機相關的操作大多都很慢:啟動要幾分鐘,捕捉快照要幾分鐘,創建鏡像也需要幾分鐘。世界不停轉動,我們可沒有這種時間!
        • </ul>

          我們能做得更好嗎?

          進入Docker的世界吧。

          Docker是由公共PaaS提供商dotCloud的人發起的開源項目,于去年初發起。從技術角度來說,Docker(主要用Go語言編寫)試圖簡化兩種已有技術的使用:

          • LXC:Linux容器,允許獨立進程在比普通Unix進程更高的隔離級別上運行。使用的技術術語是集裝箱化:一個容器里運行一個進程。容器支持的隔離級別有:
            • 文件系統:容器只能訪問自己的沙箱文件系統(類似于chroot),否則要專門掛載到容器的文件系統中才能訪問。
            • 用戶名字空間:容器有自己的用戶數據庫(也就是容器的root不等于主機的root賬戶)。
            • 進程名字空間:只有容器里的進程才是可見的(ps aux的輸出會非常簡潔)。
            • 網絡名字空間:每個容器都有自己的虛擬網絡設備和虛擬IP(因此它可以綁定任意端口,不用占用主機端口)。
            • </ul> </li>

            • AUFS:高級多層的統一文件系統,可用來創建聯合、寫時拷貝的文件系統。
            • </ul>

              Docker可以安裝在任何支持AUFS和內核版本大于等于3.8的Linux系統上。但從概念上來說它并不依賴于這些技術,以后也可以和類似的技術一起運行,例如Solaris的ZonesBSD jails,并將ZFS作為文件系統。不過目前只能選擇Linux 3.8+和AUFS。

              那Docker為什么有意思呢?

              • Docker非常輕量。啟動VM是個大動作,需要占用大量內存;而啟動Docker容器只耗費很少的CPU和內存,并且非常快。幾乎和啟動一個常規進程沒什么區別。不僅運行容器快,構建鏡像、捕獲文件系統的快照也很快。
              • 它運行在已經虛擬化過的環境中。也就是說,你可以在EC2實例、Rackspace VM或VirtualBox里運行Docker。事實上,在Mac和Windows上使用Docker的首選方式是使用Vagrant
              • Docker容器能移植到任何運行Docker的操作系統上。無論是Ubuntu還是CentOS,只要Docker運行著,你的容器就能運行。
              • </ul>

                讓我們回到前面的部署、操作問題列表,看看Docker是怎么解決的:

                1. 隔離性:Docker在文件系統和網絡級別隔離了應用。從這個意義上來講很像在運行”真正的“虛擬機。
                2. 重復性:用你喜歡的方式準備系統(登錄并在所有軟件里執行apt-get命令,或者使用Dockerfile),然后把修改提交到鏡像中。你可以隨意實例化若干個實例,或者把鏡像傳輸到另一臺機器,完全重現同樣的設置。
                  • 安全性:Docker容器比普通的進程隔離更為安全。Docker團隊已經確定了一些安全問題,正在著手解決。
                  • 資源約束:Docker現在能限制CPU的使用率和內存用量。目前還不能直接限制磁盤的使用情況。
                  • 易于安裝:Docker有一個Docker Index,這個倉庫存儲了現成的Docker鏡像,你用一條命令就可以完成實例化。比如說,要使用Clojure REPL鏡像,只要運行docker run -t -i zefhemel/clojure-repl命令就能自動獲取并運行該鏡像。
                  • 易于移除:不需要應用了?銷毀容器就行。
                  • 升級、降級:和EC2 VM一樣:先啟動應用的新版本,然后把負載均衡器切換到新的端口。
                  • 快照、備份:Docker能提交鏡像并給鏡像打標簽,和EC2上的快照不同,Docker是立即處理的
                  • </ul> </tt></tt></ol>

                    怎么使用Docker

                    假設你已經安裝了Docker。要在Ubuntu容器中運行bash,只要執行:

                    docker run -t -i ubuntu /bin/bash

                    根據“ubuntu”鏡像的下載情況,Docker會選擇下載或者使用本地可用的拷貝,然后在Ubuntu容器里運行/bin/bash。接著你就能在容器里執行幾乎所有典型的Ubuntu操作,比如安裝新的包。

                    我們來安裝個“hello”:

                    $ docker run -t -i ubuntu /bin/bashroot@78b96377e546:/# apt-get install hello
                    Reading package lists... Done
                    Building dependency tree... Done
                    The following NEW packages will be installed:
                      hello
                    0 upgraded, 1 newly installed, 0 to remove and 0 not upgraded.
                    Need to get 26.1 kB of archives.
                    After this operation, 102 kB of additional disk space will be used.
                    Get:1 http://archive.ubuntu.com/ubuntu/ precise/main hello amd64 2.7-2 [26.1 kB]
                    Fetched 26.1 kB in 0s (390 kB/s)
                    debconf: delaying package configuration, since apt-utils is not installed
                    Selecting previously unselected package hello.
                    (Reading database ... 7545 files and directories currently installed.)
                    Unpacking hello (from .../archives/hello_2.7-2_amd64.deb) ...
                    Setting up hello (2.7-2) ...root@78b96377e546:/# hello
                    Hello, world!

                    現在退出,然后再運行一次相同的Docker命令:

                    root@78b96377e546:/# exit
                    exit
                    $ docker run -t -i ubuntu /bin/bashroot@e5e9cde16021:/# hello
                    bash: hello: command not found

                    怎么了?我們美麗的hello命令哪兒去了?事實上我們剛剛根據干凈的Ubuntu鏡像啟動了一個新的容器。要繼續先前那個,我們必須把它提交倉庫中。我們退出這個容器,看看先前啟動容器的ID是什么:

                    $ docker ps -a
                    ID                  IMAGE                   COMMAND                CREATED              STATUS              PORTS
                    e5e9cde16021        ubuntu:12.04            /bin/bash              About a minute ago   Exit 127
                    78b96377e546        ubuntu:12.04            /bin/bash              2 minutes ago        Exit 0

                    docker ps命令能列出當前運行的容器,docker ps -a還會顯示已經退出的容器。每個容器都有一個唯一的ID,類似于Git提交哈希值。命令也列出了容器基于的鏡像、運行的命令、創建時間、當前狀態,以及容器暴露的端口和與主機端口之間的映射。

                    上面那個是我們第二次啟動的容器,不包含“hello”;下面那個是我們想重用的,所以我們提交一下,再創建一個新的容器:

                    $ docker commit 78b96377e546 zefhemel/ubuntu
                    356e4d516681
                    $ docker run -t -i zefhemel/ubuntu /bin/bashroot@0d7898bbf8cd:/# hello
                    Hello, world!

                    我用容器ID把容器提交到了倉庫中。倉庫類似于Git倉庫,包含一或多個打了標簽的鏡像。如果像我一樣沒有指定標簽名稱,標簽會被命名為“latest”。運行docker images命令可以查看本地安裝的所有鏡像。

                    Docker提供了一些基礎鏡像(比如ubuntucentos),你也可以創建自己的鏡像。用戶倉庫的命名模型和Github的類似:Docker用戶名后面跟一個斜線,然后再跟倉庫名稱。

                    前面創建Docker鏡像的方式并不是特別正規,你可以試試。更簡潔的方式是使用Dockerfile

                    使用Dockerfile構建鏡像

                    Dockerfile是個簡單的文本文件,介紹了如何從基礎鏡像構建鏡像。我在Github上提供了幾個Dockerfile。下面的文件用來運行、安裝SSH服務器:

                    FROM ubuntu
                    RUN apt-get update
                    RUN apt-get install -y openssh-server
                    RUN mkdir /var/run/sshd
                    RUN echo "root:root" | chpasswd
                    EXPOSE 22

                    上面的內容一目了然。FROM命令定義了基礎鏡像,基礎鏡像可以是官方的,也可以是我們剛剛創建的zefhemel/ubuntuRUN命令用來配置鏡像。在這里,我們更新了APT包倉庫,安裝了openssh-server,創建了一個目錄,然后給我們的root賬戶設置了一個再簡單不過的密碼。EXPOSE命令會向外暴露22端口(SSH端口)。接下來看看如何構建并實例化這個Dockerfile。

                    第一步是構建一個鏡像。在包含Dockerfile的目錄下運行:

                    $ docker bui ld -t zefhemel/ssh .

                    這會創建一個zefhemel/ssh倉庫,包含我們新的SSH鏡像。如果創建成功,就能進行實例化了:

                    $ docker run -d zefhemel/ssh /usr/sbin/sshd -D

                    和前面的命令不一樣。-d表示會在后臺運行容器,而不是運行bash,所以我們用前臺模式(用-D參數指定)運行了sshd守護進程。

                    讓我們檢查運行中的容器,看看命令做了些什么:

                    $ docker ps
                    ID                  IMAGE                   COMMAND                CREATED             STATUS              PORTS
                    23ee5acf5c91        zefhemel/ssh:latest     /usr/sbin/sshd -D      3 seconds ago       Up 2 seconds        49154->22

                    可以看到我們的容器啟動著。PORTS頭下的內容比較有意思。由于我們EXPOSE了22端口,這個端口現在映射到了主機系統的一個端口(這里是49154)。讓我們看看它能否運行。

                    $ ssh root@localhost -p 49154
                    The authenticity of host '[localhost]:49154 ([127.0.0.1]:49154)' can't be established.
                    ECDSA key fingerprint is f3:cc:c1:0b:e9:e4:49:f2:98:9a:af:3b:30:59:77:35.
                    Are you sure you want to continue connecting (yes/no)? yes
                    Warning: Permanently added '[localhost]:49154' (ECDSA) to the list of known hosts.
                    root@localhost's password: <I typed in 'root' here>
                    Welcome to Ubuntu 12.04 LTS (GNU/Linux 3.8.0-27-generic x86_64)

                    The programs included with the Ubuntu system are free software; the exact distribution terms for each program are described in the individual files in /usr/share/doc/*/copyright.

                    Ubuntu comes with ABSOLUTELY NO WARRANTY, to the extent permitted by applicable law.root@23ee5acf5c91:~#</pre>

                    再次成功了!現在有了一個運行的SSH服務器,我們能登錄它。在有人猜出密碼并攻擊容器之前,讓我們先從SSH退出,殺掉容器。

                    $ docker kill 23ee5acf5c91

                    如你所見,容器的22端口映射到了49154端口,但這是完全隨機的。要把它映射到特定端口,運行命令時傳入-p參數:

                    docker run -p 2222:22 -d zefhemel/ssh /usr/sbin/sshd -D

                    現在,如果2222端口可用,我們的端口就會映射到2222上。我們在Dockerfile的結尾再添加一行內容,以便我們的鏡像對用戶更加友好:

                    CMD /usr/sbin/sshd -D

                    CMD表示構建鏡像時并不會運行命令,實例化時才運行。所以不傳遞其它參數時就會執行/usr/sbin/sshd -D。然后我們可以直接運行:

                    docker run -p 2222:22 -d zefhemel/ssh

                    得到的結果和前面一樣。要發布新創建的鏡像,只要運行docker push就可以了:

                    docker push zefhemel/ssh

                    登錄之后,鏡像就可用了,用先前的docker run命令就能執行命令。

                    讓我們回到Wordpress的例子。怎樣在容器里用Docker運行Wordpress呢?要構建一個Wordpress鏡像,我們要創建一個Dockerfile:

                    1. 安裝Apache、PHP5和MySQL
                    2. 下載Wordpress,解壓到文件系統的某個地方
                    3. 創建一個MySQL數據庫
                    4. 更新WordPress的配置文件,指向MySQL數據庫
                    5. 把WordPress設置為Apache的DocumentRoot
                    6. 啟動MySQL和Apache(比如用supervisord
                    7. </ol>

                      幸運的是,很多人已經成功了,比如John Fink的GitHub庫就包括創建這樣一個Wordpress鏡像需要的所有內容。

                      Docker用例

                      除了用可靠、可重復的方式簡化復雜應用的部署,Docker還有很多用途。下面是一些有趣的Docker用法和項目:

                      • 持續集成和部署:在Docker容器里構建軟件,確保構建之間的隔離性。構建好的軟件鏡像可以自動推到私有的Docker倉庫中,并部署到測試環境或生產環境。
                      • Dokku:一個簡單的PaaS,用不到一百行的Bash構建而成。
                      • FlynnDeis,兩個使用Docker的開源PaaS項目。
                      • 在容器里運行桌面環境
                      • CoreOS驗證了Docker的合理性,CoreOS是個非常輕量級的Linux發行版,其中的應用都用Docker安裝、運行,由systemd管理。
                      • </ul>

                        Docker不是什么

                        盡管Docker有助于系統的可靠部署,但它本身并不是個完全成熟的部署系統。它操作的是容器里運行的應用。哪個容器安裝在哪個服務器上,以及如何啟動它們,則超出了Docker的范圍。

                        同樣的,Docker也不處理跨多個容器(可能在多個物理服務器上,也可能在多個VM上)運行的應用。要讓容器互相通信,需要某些發現機制,來找出哪些IP和端口上的其他應用可用。這和跨常規虛擬機的服務發現非常相似。etcd等工具,或者其他的服務發現機制都能用來解決這個問題。

                        結論

                        雖然本文描述的所有內容用原始的LXC、cgroups和AUFS也可能實現,但實現起來絕對沒有那么容易或簡單。Docker提供了一種簡單的方式將復雜應用打包到容器中,而且能輕松版本化、可靠分發。進而讓輕量級的Linux容器和真正的虛擬機一樣靈活、強大,但成本更低、方式更為便捷。即便Vagrant VirtualBox VM在Macbook Pro上,使用運行在其中的Docker創建的Docker鏡像也能很好地運行在EC2Rackspace Cloud或物理硬件上,反之亦然。

                        Docker可以從它的網站上獲取,并免費使用。交互式的入門指南很不錯。項目的路線圖指出,第一個生產就緒的版本是2013年10月發布的0.8版本,不過此前大家已經在生產環境里使用Docker了。

                        查看英文原文:Docker: Using Linux Containers to Support Portable Application Deployment

                        來自:http://www.infoq.com/cn/articles/docker-containers

                         本文由用戶 jopen 自行上傳分享,僅供網友學習交流。所有權歸原作者,若您的權利被侵害,請聯系管理員。
                         轉載本站原創文章,請注明出處,并保留原始鏈接、圖片水印。
                         本站是一個以用戶分享為主的開源技術平臺,歡迎各類分享!