深入分析Docker鏡像原理

分享簡介：Dockerfile重塑新鏡像，定義的不僅僅是鏡像中的磁盤文件；Docker鏡像是Dockerfile的產 物，自底之上打包軟件及其環境，是軟件的交付品；容器是鏡像的運行態體現，一切信息來源于鏡像。本次分享將深入分析Dockerfile、Docker鏡 像和Docker容器三者之間的具體關系。

分享嘉賓：孫宏亮，碩士，浙江大學畢業，現為DaoCloud軟件工程師。主要負責企業級容器云平臺的研發工作，《Docker源碼分析》作者。

以下為分享全部內容：

第一部分：Docker鏡像的基本知識

1.1 什么是Docker鏡像

從整體的角度來講，一個完整的Docker鏡像可以支撐一個Docker容器的運行，在 Docker容器運行過程中主要提供文件系統視角。例如一個ubuntu:14.04的鏡像，提供了一個基本的ubuntu:14.04的發行版，當然此 鏡像是不包含操作系統Linux內核的。

說到此，可能就需要注意一下，linux內核和ubuntu:14.04Docker鏡像的區別了。傳統虛擬機安裝ubuntu:14.04會包含兩部分，第一，某一個Linux內核的發行版本，比如Linux 3.8版本的內核；第二，第一個特定的Ubuntu發行版，這部分內容不包含Linux內核，但是包含Linux之外的軟件管理方式，軟件驅動，如 apt-get軟件管理包等。

理解以上內容之后，就可以理解，為什么在一個Linux內核版本為3.8的ubuntu:14.04基礎上，可以把Linux內核版本升級到3.18，而ubuntu的版本依然是14.04。最主要的就是：Linux內核版本與ubuntu操作系統發行版之間的區別。

Linux內核＋ubuntu操作系統發行版，組成一臺工作的機器讓用戶體驗。那么靈活替換ubuntu操作系統發行版，那是不是也可以實現呢。那么Docker很方便的利用了這一點，技術手段就是Docker鏡像。

Docker的架構中，Docker鏡像就是類似于“ubuntu操作系統發行版”，可 以在任何滿足要求的Linux內核之上運行。簡單一點有“Debian操作系統發行版”Docker鏡像、“Ubuntu操作系統發行版”Docker鏡 像；如果在Debian鏡像中安裝MySQL 5.6，那我們可以將其命名為Mysql:5.6鏡像；如果在Debian鏡像中安裝有Golang 1.3,那我們可以將其命名為golang:1.3鏡像；以此類推，大家可以根據自己安裝的軟件，得到任何自己想要的鏡像。

那么鏡像最后的作用是什么呢？很好理解，回到Linux內核上來運行，通過鏡像來運行時我們常常將提供的環境稱為容器。

以上內容是從宏觀的角度看看Docker鏡像是什么，我們再從微觀的角度進一步深入 Docker鏡像。剛才提到了“Debian鏡像中安裝MySQL 5.6，就成了mysql:5.6鏡像”，其實在此時Docker鏡像的層級概念就體現出來了。底層一個Debian操作系統鏡像，上面疊加一個 mysql層，就完成了一個mysql鏡像的構建。層級概念就不難理解，此時我們一般debian操作系統鏡像稱為mysql鏡像層的父鏡像。

層級管理的方式大大便捷了Docker鏡像的分發與存儲。說到分發，大家自然會聯想到 Docker鏡像的靈活性，傳輸的便捷性，以及高超的移植性。Docker Hub，作為全球的鏡像倉庫，作為Docker生態中的數據倉庫，將全世界的Docker數據匯聚在一起，是Docker生態的命脈。

Docker有兩方面的技術非常重要，第一是Linux 容器方面的技術，第二是Docker鏡像的技術。從技術本身來講，兩者的可復制性很強，不存在絕對的技術難點，然而Docker Hub由于存在大量的數據的原因，導致Docker Hub的可復制性幾乎不存在，這需要一個生態的營造。

1.2 Docker鏡像的內容

大致介紹了Docker鏡像是什么，我們來看看Docker鏡像中有哪些內容？

介紹之前，我先分享一下，我個人在接觸Docker的兩年時間中，對Docker鏡像內容認識的變化。

第一階段：初步接觸Docker。相信很多愛好者都會和我一樣，有這樣一個認識：Docker 鏡像代表一個容器的文件系統內容；

第二階段：初步接觸聯合文件系統。聯合文件系統的概念，讓我意識到鏡像層級管理的技術，每一層鏡像都是容器文件系統內容的一部分。

第三階段：研究鏡像與容器的關系：容器是一個動態的環境，每一層鏡像中的文件屬于靜態內 容，然而 Dockerfile 中的 ENV、VOLUME、CMD 等內容最終都需要落實到容器的運行環境中，而這些內容均不可能直接坐落到每一層鏡像所包含的文件系統內容中，那此時每一個Docker鏡像還會包含 json文件記錄與容器之間的關系。

因此，Docker鏡像的內容主要包含兩個部分：第一，鏡像層文件內容；第二，鏡像json文件。

1.3 Docker鏡像存儲位置

既然是說鏡像存儲的位置，那么應該包含：鏡像層文件和鏡像json文件。如一個ubuntu:14.04鏡像，包含4個鏡像層，在aufs存儲驅動的情況下，在磁盤上的情況可以如以下圖所示：

1.3.1 查看鏡像層組成：

我們可以通過命令 docker history ubuntu:14.04 查看 ubuntu:14.04，結果如下：

1.3.2 鏡像層文件內容存儲

Docker 鏡像層的內容一般在 Docker 根目錄的 aufs 路徑下，為 /var/lib/docker/aufs/diff/，具體情況如下： 

圖中顯示了鏡像 ubuntu:14.04 的 4 個鏡像層內容，以及每個鏡像層內的一級目錄情況。需要額外注意的是：鏡像層 d2a0ecffe6fa 中沒有任何內容，也就是所謂的空鏡像。

1.3.3 鏡像 json 文件存儲

對于每一個鏡像層，Docker 都會保存一份相應的 json 文件，json 文件的存儲路徑為 /var/lib/docker/graph，ubuntu:14.04 所有鏡像層的 json 文件存儲路徑展示如下：

除了 json 文件，大家還看到每一個鏡像層還包含一個 layersize 文件，該文件主要記錄鏡像層內部文件內容的總大小。既然談到了鏡像 json 文件，為了給下文鋪墊，以下貼出 ubuntu:14.04 中空鏡像層 d2a0ecffe6fa 的 json 文件：

Docker鏡像存儲，就和大家一起先看到這。同時介紹Docker鏡像的基本知識也告一段落。以下我們進入此次分享的第二部分。

第二部分 Dockerfile、Docker鏡像和Docker容器的關系

Dockerfile 是軟件的原材料，Docker 鏡像是軟件的交付品，而 Docker 容器則可以認為是軟件的運行態。從應用軟件的角度來看，Dockerfile、Docker 鏡像與 Docker 容器分別代表軟件的三個不同階段，Dockerfile 面向開發，Docker 鏡像成為交付標準，Docker 容器則涉及部署與運維，三者缺一不可，合力充當 Docker 體系的基石。

簡單來講，Dockerfile構建出Docker鏡像，通過Docker鏡像運行Docker容器。

我們可以從Docker容器的角度，來反推三者的關系。首先可以來看下圖：

我們假設這個容器的鏡像通過以下Dockerfile構建而得：

FROM ubuntu:14.04

ADD run.sh /
VOLUME /data
CMD ["./run.sh"]  </pre> 
2.1 Dockerfile與Docker鏡像 

首先，我們結合上圖來看看Dockerfile與Docker鏡像之間的關系。 




FROM ubuntu:14.04：設置基礎鏡像，此時會使用基礎鏡像 ubuntu:14.04 的所有鏡像層，為簡單起見，圖中將其作為一個整體展示。 




ADD run.sh /：將 Dockerfile 所在目錄的文件 run.sh 加至鏡像的根目錄，此時新一層的鏡像只有一項內容，即根目錄下的 run.sh。 




VOLUME /data：設定鏡像的 VOLUME，此 VOLUME 在容器內部的路徑為 /data。需要注意的是，此時并未在新一層的鏡像中添加任何文件，即構建出的磁層鏡像中文件為空，但更新了鏡像的 json 文件，以便通過此鏡像啟動容器時獲取這方面的信息。 




CMD ["./run.sh"]：設置鏡像的默認執行入口，此命令同樣不會在新建鏡像中添加任何文件，僅僅在上一層鏡像 json 文件的基礎上更新新建鏡像的 json 文件。 







因此，通過以上分析，以上的Dockerfile可以構建出一個新的鏡像，包含4個鏡像層，每一條命令會和一個鏡像層對應，鏡像之間會存在父子關系。圖中很清楚的表明了這些關系。 




2.2 Docker鏡像與Docker容器的關系 

Docker鏡像是Docker容器運行的基礎，沒有Docker鏡像，就不可能有Docker容器，這也是Docker的設計原則之一。 




可以理解的是：Docker鏡像畢竟是鏡像，屬于靜態的內容；而Docker容器就不一樣了，容器屬于動態的內容。動態的內容，大家很容易聯想到進程，內存，CPU等之類的東西。的確，Docker容器作為動態的內容，都會包含這些。 




為了便于理解，大家可以把Docker容器，理解為一個或多個運行進程，而這些運行進程將占有相應的內存，相應的CPU計算資源，相應的虛擬網絡設備以及相應的文件系統資源。而Docker容器所占用的文件系統資源，則通過Docker鏡像的鏡像層文件來提供。 




那么作為靜態的鏡像，如何才有能力轉化為一個動態的Docker容器呢？此時，我們可以想象：第一，轉化的依據是什么；第二，由誰來執行這個轉化操作。 




其實，轉化的依據是每個鏡像的json文件，Docker可以通過解析Docker鏡像的json的文件，獲知應該在這個鏡像之上運行什么樣的進程，應該為進程配置怎么樣的環境變量，此時也就實現了靜態向動態的轉變。 




誰來執行這個轉化工作？答案是Docker守護進程。也許大家早就理解這樣一句 話：Docker容器實質上就是一個或者多個進程，而容器的父進程就是Docker守護進程。這樣的，轉化工作的執行就不難理解了：Docker守護進程 手握Docker鏡像的json文件，為容器配置相應的環境，并真正運行Docker鏡像所指定的進程，完成Docker容器的真正創建。 







Docker容器運行起來之后，Docker鏡像json文件就失去作用了。此時Docker鏡像的絕大部分作用就是：為Docker容器提供一個文件系統的視角，供容器內部的進程訪問文件資源。 




再次回到上圖，我們再來看看容器和鏡像之間的一些特殊關系。首先，之前已經提及Docker鏡像是分層管理的，管理Docker容器的時候，Docker鏡像仍然是分層管理的。由于此時動態的容器中已經存在進程，進程就會對文件系統視角內的文件進行讀寫操作，因此，就會涉及一個問題：容器是否會篡改Docker鏡像的內容？ 




答案自然是不會的。統一來講，正如上圖，所有的Docker鏡像層對于容器來說，都是只讀的，容器對于文件的寫操作絕對不會作用在鏡像中。 




既然如此，實現的原理就很重要，究其根本：Docker守護進程會在Docker鏡像的 最上層之上，再添加一個可讀寫層，容器所有的寫操作都會作用到這一層中。而如果Docker容器需要寫底層Docker鏡像中的文件，那么此時就會涉及一 個叫Copy－on－Write的機制，即aufs等聯合文件系統保證：首先將此文件從Docker鏡像層中拷貝至最上層的可讀寫層，然后容器進程再對讀 寫層中的副本進行寫操縱。對于容器進程來講，它只能看到最上層的文件。 







那最后我們再來說說：Docker容器的文件系統視角中，到底是不是存在一些內容，不是存儲于Docker鏡像中的？ 




這次的答案依舊是肯定的。 




再次重申一點，Docker鏡像中存儲的都是一些靜態文件。這些文件原則上應該和容器具體信息以及主機信息完全解藕。那么Docker容器中不存在Docker鏡像中的內容主要有以下幾點： 




1./proc以及/sys等虛擬文件系統的內容 




2.容器的hosts文件，hostname文件以及resolv.conf文件，這些事具體環境的信息，原則上的確不應該被打入鏡像。 




3.容器的Volume路徑，這部分的視角來源于從宿主機上掛載到容器內部的路徑 




4.部分的設備文件 

QA選集： 

問：為什么一個ubuntu:14.04鏡像的鏡像層的數量是4個，前三層的內容似乎有相同的，如etc？ 

孫宏亮：這一點，細心的大家肯定發現了。首先，雖然三層 都有，但是會存在兩種情況，etc的子目錄下有相同路徑的文件，那么上層的會覆蓋下層的文件；如果內部的文件路徑不相同，那么都會存在，都會呈現給最上 層。［可別較真，說目錄也是文件哈，意會］ 

問：關于docker安全性問題，對于安全是怎樣處理的，如果我從hub下載鏡像，能判別是否安全么2.層級之間的依賴會導致一個崩了整個docker 都崩了么？ 

孫宏亮：從流程上來講，如果一切可控的話，我認為是安全的。但是依然會存在一些隱患，比如Dockerfile中基于的base images是否完全受信；鏡像的傳輸過程是否受信；自己的private docker resgitry的安全級別達到什么樣的層次，這些都有影響。 

問：如何保證僅有的一個deamon的穩定性健壯性？ 

孫宏亮：這個問題首先需要知道docker daemon的穩定性在哪些方面，那種場景下比較差？的確，docker daemon存在弊病。比如，daemon和容器的耦合等，目前general來講，docker daemon保證絕對的穩定應該還做不到。 

問：生產環境中怎么用docker備份mysql數據？ 

孫宏亮：數據存儲上docker，我目前的建議是：三思。舉個簡單的例子，官方的mysql鏡像運行出來的 容器，密碼是明文的，明文的密碼存在于：docker inspect container_name, container.json文件中，容器的環境變量中，甚至在日志文件中都會存在，just think about it。當然也有辦法解決，緩解這種情況。 

問：如果是多層構建，中間的一個層做了升級或者bugfix，會潛在影響上層吧？ 

孫宏亮：這個bugfix會在上層有體現，但是使用效果是不會有影響的，還有之前的bug會永遠留在下層，但是沒有影響。（責編/魏偉） 


想和業內技術牛人探討Container技術，請掃描下方的二維碼，拉入群內 

    

或關注我們Container官方微信公眾號 
 



來自：http://www.csdn.net/article/2015-08-21/2825511