開源容器集群管理系統Kubernetes架構及組件介紹

jopen 9年前發布 | 41K 次閱讀 數據庫

本文來源于Infoq的一篇文章（見參考部分），并在難懂的地方自己理解的基礎上做了修改。實際在ubuntu上部署 kubernetes 操作另見 文章 。

Together we will ensure that Kubernetes is a strong and open container management framework for any application and in any environment, whether in a private, public or hybrid cloud. --Urs H?lzle, Google

Kubernetes 作為Docker生態圈中重要一員，是Google多年大規模容器管理技術的開源版本，是產線實踐經驗的最佳表現。如Urs H?lzle所說，無論是公有云還是私有云甚至混合云，Kubernetes將作為一個為任何應用，任何環境的容器管理框架無處不在。正因為如此，目前受 到各大巨頭及初創公司的青睞，如Microsoft、VMWare、Red Hat、CoreOS、Mesos等，紛紛加入給Kubernetes貢獻代碼。隨著Kubernetes社區及各大廠商的不斷改進、發 展，Kuberentes將成為容器管理領域的領導者。

接下來我們一起探索Kubernetes是什么、能做什么以及怎么做。

1. 什么是Kubernetes

Kubernetes是Google開源的容器集群管理系統，使用Golang開發，其提供應用部署、維護、擴展機制等功能，利用Kubernetes能方便地管理跨機器運行容器化的應用，其主要功能如下：

  1. 使用Docker對應用程序包裝(package)、實例化(instantiate)、運行(run)。
  2. 以集群的方式運行、管理跨機器的容器。
  3. 解決Docker跨機器容器之間的通訊問題。
  4. Kubernetes的自我修復機制使得容器集群總是運行在用戶期望的狀態。

當前Kubernetes支持GCE、vShpere、CoreOS、OpenShift、Azure等平臺，除此之外，也可以直接運行在物理機上。

這個官方給出的完整的架構圖：（可放大看）

數據一致性-分區可用性-性能——多副本強同步數據庫系統實現之我見

2. Kubernetes的主要概念

2.1 Pods

在Kubernetes系統中，調度的最小顆粒不是單純的容器，而是抽象成一個Pod，Pod是一個可以被創建、銷毀、調度、管理的最小的部署單 元。把相關的一個或多個容器（Container）構成一個Pod，通常Pod里的容器運行相同的應用。Pod包含的容器運行在同一個 Minion(Host)上，看作一個統一管理單元，共享相同的volumes和network namespace/IP和Port空間。

2.2 Services

Services也是Kubernetes的基本操作單元，是真實應用服務的抽象，每一個服務后面都有很多對應的容器來支持，通過Proxy的 port和服務selector決定服務請求傳遞給后端提供服務的容器，對外表現為一個單一訪問地址，外部不需要了解后端如何運行，這給擴展或維護后端帶 來很大的好處。

這一點github上的官網文檔services.md講的特別清楚。

2.3 Replication Controllers

Replication Controller，理解成更復雜形式的pods，它確保任何時候Kubernetes集群中有指定數量的pod副本(replicas)在運行，如果 少于指定數量的pod副本(replicas)，Replication Controller會啟動新的Container，反之會殺死多余的以保證數量不變。Replication Controller使用預先定義的pod模板創建pods，一旦創建成功，pod 模板和創建的pods沒有任何關聯，可以修改 pod 模板而不會對已創建pods有任何影響，也可以直接更新通過Replication Controller創建的pods。對于利用 pod 模板創建的pods，Replication Controller根據 label selector 來關聯，通過修改pods的label可以刪除對應的pods。Replication Controller主要有如下用法：

Rescheduling
如上所述，Replication Controller會確保Kubernetes集群中指定的pod副本(replicas)在運行， 即使在節點出錯時。

Scaling
通過修改Replication Controller的副本(replicas)數量來水平擴展或者縮小運行的pods。

Rolling updates
Replication Controller的設計原則使得可以一個一個地替換pods來滾動更新（rolling updates）服務。

Multiple release tracks
如果需要在系統中運行multiple release的服務，Replication Controller使用labels來區分multiple release tracks。

以上三個概念便是用戶可操作的REST對象。Kubernetes以RESTfull API形式開放的接口來處理。

2.4 Labels

service和replicationController只是建立在pod之上的抽象，最終是要作用于pod的，那么它們如何跟pod聯系起來 呢？這就引入了label的概念：label其實很好理解，就是為pod加上可用于搜索或關聯的一組key/value標簽，而service和 replicationController正是通過label來與pod關聯的。為了將訪問Service的請求轉發給后端提供服務的多個容器，正是通 過標識容器的labels來選擇正確的容器；Replication Controller也使用labels來管理通過 pod 模板創建的一組容器，這樣Replication Controller可以更加容易，方便地管理多個容器。

如下圖所示，有三個pod都有label為"app=backend"，創建service和replicationController時可以指 定同樣的label:"app=backend"，再通過label selector機制，就將它們與這三個pod關聯起來了。例如，當有其他frontend pod訪問該service時，自動會轉發到其中的一個backend pod。

數據一致性-分區可用性-性能——多副本強同步數據庫系統實現之我見

3. Kubernetes構件

Kubenetes整體框架如下圖，主要包括kubecfg、Master API Server、Kubelet、Minion(Host)以及Proxy。

數據一致性-分區可用性-性能——多副本強同步數據庫系統實現之我見

3.1 Master

Master定義了Kubernetes 集群Master/API Server的主要聲明，包括Pod Registry、Controller Registry、Service Registry、Endpoint Registry、Minion Registry、Binding Registry、RESTStorage以及Client, 是client(Kubecfg)調用Kubernetes API，管理Kubernetes主要構件Pods、Services、Minions、容器的入口。Master由API Server、Scheduler以及Registry等組成。從下圖可知Master的工作流主要分以下步驟：

  1. Kubecfg將特定的請求，比如創建Pod，發送給Kubernetes Client。
  2. Kubernetes Client將請求發送給API server。
  3. API Server根據請求的類型，比如創建Pod時storage類型是pods，然后依此選擇何種REST Storage API對請求作出處理。
  4. REST Storage API對的請求作相應的處理。
  5. 將處理的結果存入高可用鍵值存儲系統Etcd中。
  6. 在API Server響應Kubecfg的請求后，Scheduler會根據Kubernetes Client獲取集群中運行Pod及Minion信息。
  7. 依據從Kubernetes Client獲取的信息，Scheduler將未分發的Pod分發到可用的Minion節點上。

數據一致性-分區可用性-性能——多副本強同步數據庫系統實現之我見
下面是Master的主要構件的詳細介紹。

3.1.1 Minion Registry

Minion Registry負責跟蹤Kubernetes 集群中有多少Minion(Host)。Kubernetes封裝Minion Registry成實現Kubernetes API Server的RESTful API接口REST，通過這些API，我們可以對Minion Registry做Create、Get、List、Delete操作，由于Minon只能被創建或刪除，所以不支持Update操作，并把Minion 的相關配置信息存儲到etcd。除此之外，Scheduler算法根據Minion的資源容量來確定是否將新建Pod分發到該Minion節點。

可以通過curl http://{master-apiserver-ip}:4001/v2/keys/registry/minions/來驗證etcd中存儲的內容。

3.1.2 Pod Registry

Pod Registry負責跟蹤Kubernetes集群中有多少Pod在運行，以及這些Pod跟Minion是如何的映射關系。將Pod Registry和Cloud Provider信息及其他相關信息封裝成實現Kubernetes API Server的RESTful API接口REST。通過這些API，我們可以對Pod進行Create、Get、List、Update、Delete操作，并將Pod的信息存儲到 etcd中，而且可以通過Watch接口監視Pod的變化情況，比如一個Pod被新建、刪除或者更新。

3.1.3 Service Registry

Service Registry負責跟蹤Kubernetes集群中運行的所有服務。根據提供的Cloud Provider及Minion Registry信息把Service Registry封裝成實現Kubernetes API Server需要的RESTful API接口REST。利用這些接口，我們可以對Service進行Create、Get、List、Update、Delete操作，以及監視 Service變化情況的watch操作，并把Service信息存儲到etcd。

3.1.4 Controller Registry

Controller Registry負責跟蹤Kubernetes集群中所有的Replication Controller，Replication Controller維護著指定數量的pod 副本(replicas)拷貝，如果其中的一個容器死掉，Replication Controller會自動啟動一個新的容器，如果死掉的容器恢復，其會殺死多出的容器以保證指定的拷貝不變。通過封裝Controller Registry為實現Kubernetes API Server的RESTful API接口REST， 利用這些接口，我們可以對Replication Controller進行Create、Get、List、Update、Delete操作，以及監視Replication Controller變化情況的watch操作，并把Replication Controller信息存儲到etcd。

3.1.5 Endpoints Registry

Endpoints Registry負責收集Service的endpoint，比如Name："mysql"，Endpoints: ["10.10.1.1:1909"，"10.10.2.2:8834"]，同Pod Registry，Controller Registry也實現了Kubernetes API Server的RESTful API接口，可以做Create、Get、List、Update、Delete以及watch操作。

3.1.6 Binding Registry

Binding包括一個需要綁定Pod的ID和Pod被綁定的Host，Scheduler寫Binding Registry后，需綁定的Pod被綁定到一個host。Binding Registry也實現了Kubernetes API Server的RESTful API接口，但Binding Registry是一個write-only對象，所有只有Create操作可以使用， 否則會引起錯誤。

3.1.7 Scheduler

Scheduler收集和分析當前Kubernetes集群中所有Minion節點的資源(內存、CPU)負載情況，然后依此分發新建的Pod到 Kubernetes集群中可用的節點。由于一旦Minion節點的資源被分配給Pod，那這些資源就不能再分配給其他Pod， 除非這些Pod被刪除或者退出， 因此，Kubernetes需要分析集群中所有Minion的資源使用情況，保證分發的工作負載不會超出當前該Minion節點的可用資源范圍。具體來 說，Scheduler做以下工作：

  1. 實時監測Kubernetes集群中未分發的Pod。
  2. 實時監測Kubernetes集群中所有運行的Pod，Scheduler需要根據這些Pod的資源狀況安全地將未分發的Pod分發到指定的Minion節點上。
  3. Scheduler也監測Minion節點信息，由于會頻繁查找Minion節點，Scheduler會緩存一份最新的信息在本地。
  4. 最后，Scheduler在分發Pod到指定的Minion節點后，會把Pod相關的信息Binding寫回API Server。

3.2 Kubelet

數據一致性-分區可用性-性能——多副本強同步數據庫系統實現之我見
根據上圖可知Kubelet是Kubernetes集群中每個Minion和Master API Server的連接點，Kubelet運行在每個Minion上，是Master API Server和Minion之間的橋梁，接收Master API Server分配給它的commands和work，與持久性鍵值存儲etcd、file、server和http進行交互，讀取配置信息。 Kubelet的主要工作是管理Pod和容器的生命周期，其包括Docker Client、Root Directory、Pod Workers、Etcd Client、Cadvisor Client以及Health Checker組件，具體工作如下：

  1. 通過Worker給Pod異步運行特定的Action
  2. 設置容器的環境變量
  3. 給容器綁定Volume
  4. 給容器綁定Port
  5. 根據指定的Pod運行一個單一容器
  6. 殺死容器
  7. 給指定的Pod創建network 容器
  8. 刪除Pod的所有容器
  9. 同步Pod的狀態
  10. 從cAdvisor獲取container info、 pod info、 root info、 machine info
  11. 檢測Pod的容器健康狀態信息
  12. 在容器中運行命令。

3.3 Proxy

Proxy是為了解決外部網絡能夠訪問跨機器集群中容器提供的應用服務而設計的，運行在每個Minion上。Proxy提供TCP/UDP sockets的proxy，每創建一種Service，Proxy主要從etcd獲取Services和Endpoints的配置信息（也可以從 file獲取），然后根據配置信息在Minion上啟動一個Proxy的進程并監聽相應的服務端口，當外部請求發生時，Proxy會根據Load Balancer將請求分發到后端正確的容器處理。

所以Proxy不但解決了同一主宿機相同服務端口沖突的問題，還提供了Service轉發服務端口對外提供服務的能力，Proxy后端使用了隨機、輪循負載均衡算法。關于更多 kube-proxy 的內容 KUBERNETES代碼走讀之MINION NODE 組件 KUBE-PROXY 。

4. etcd

etcd在 上面架構圖上提到過幾次，但它并不是kubernetes的一部分，它是 CoreOS 團隊發起的一個管理配置信息和服務發現（service discovery）項目，目標是構建一個高可用的分布式鍵值（key-value）數據庫。與kubernetes和docker一樣還是在快速迭代開 發中的產品，沒有ZooKeeper那樣成熟。有機會再另外通過文章介紹。

參考

原文鏈接地址：http://seanlook.com/2015/02/03/docker-kubernetes-arch-introduction/

 本文由用戶 jopen 自行上傳分享，僅供網友學習交流。所有權歸原作者，若您的權利被侵害，請聯系管理員。
 轉載本站原創文章，請注明出處，并保留原始鏈接、圖片水印。
 本站是一個以用戶分享為主的開源技術平臺，歡迎各類分享！