Diego、HashiCorp的Nomad、Kontena、Rancher的Cattle、Apache Mesos、Amazon ECS等進行競爭，來證明自己比那些產品都要優秀。而現如今已經是完全不同的一幅景象

https://github.com/Dataman-Cloud/swan ），Swan基于Mesos來做容器化應用的動態調度，同時Swan實現了DNS和Proxy支持服務發現和負載均衡，跟Goog

當然，它也能很好的完成查詢其他類型的(Docker-esque) API生成的JSON(e.g Marathon, Mesos, Consul etc.)JQ提供了一個非常廣泛的API，用于訪問和處理JSON.更多信息可以在這里找到:

。這個生態圈中的產品可大致分為如下幾類： 容器編排管理 以 Google Kubernets 和 Apache Mesos 為代表。主要解決基于容器組成分布式集群應用的管理工作，例如對容器的運行狀態的監控、容器自動化的

支撐微服務的可選技術框架比較多，每個公司都可以根據自身情況選擇合適的技術框架。比如： Kubernetes Mesos+Docker OpenShift V3 Machine + Swarm + Compose OpenStack

需要去研究的，若僅僅是將Docker作為工具使用，那關注點可以放在相關的工具如Rancher、Mesos、Kubernetes等，當然了，若時間允許，了解源碼好處多多，可以從底層弄清楚Docker的各種機制，有利無弊。

資源調度大體上可以分為兩大類，一類的自帶的資源調度模塊，另外一類是外部的資源調度框架，比如 Mesos、YARN 和 IBM Platform EGO 等。構建 Spark Application 的運行環境，創建

對于你來說最基礎的PaaS系統。一個典型的開始點是使用一個集群化方案，比如配合Docker使用Mesos或者Kubernetes。后面的系列我們會看看如何基于軟件部署方法例如NGINX，可以方便的在微

其他令人興奮的框架的不斷涌現，并獲得新的動力，如 Flink，Ignite，Samza，Kudu 等。一些思想領袖認為 Mesos 的出現（一個框架以 “對你的數據中心編程就像是單一的資源池”），不需要完全的 Hadoop。即

的實時ql(query language)上邁出了腳本。在服務化方面，storm一直在朝著融入mesos框架的方向努力。同時，storm也在實現細節上不斷地優化，使用很 多優秀的開源產品，包括kryo

其重建。 2.4 Spark任務的部署 Spark的集群部署分為Standalone、Mesos和Yarn三種模式，我們以Standalone模式為例，簡單介紹Spark程序的部 署。如圖7示

google服務器集群的管理系統，類似于百度的Matrix，阿里的fuxi，騰訊的臺風平臺等等，還有開源的mesos Borg provides three main benefits: it

Streaming：基于Spark的實時計算框架 Tachyon：分布式內存文件系統 Mesos：計算框架一個集群管理器，提供了有效的、跨分布式應用或框架的資源隔離和共享Impala：新一代開源大數據分析引擎，提供Sql語義，比-

appName參數是你的應用程序的名字，將會在集群的ＵＩ上顯示。master是Spark、Mesos、或者YARN 集群URL，或者一個專用的字符串”local“使其在本地模式下運行。在實踐中，當

rapid setup of network installation environments. Mesos - Develop and run resource-efficient distributed

container 替換上去。分布式腳本執行，變成了分布式容器替換了。當然這種標準化的操作，用 mesos marathon 已經完美解決了。 使用 Docker 之后，無法再基于 IP 做管理了。倒不是給每個

Flink、Ignite、Samza、Kudu 等 ，這些框架的發展勢頭也很好。一些思想領袖認為，Mesos（數據中心資源管理系統，把數據中心當作一臺大計算資源池進行編程）的出現也刺激了對 Hadoop 的需求。

master 只能被用來從 YARN 上請求資源。 和Spark?Standalone 和 Mesos 模式不同的是， master 的地址被指定在 --master 參數中，在 YARN 模式中，

Apache Spark 是用于大規模數據處理的快速和通用引擎，它運行在 Hadoop，Mesos，可以離線或云端運行，具有高速、可擴展等特點。近年來，在 IBM 等大公司和眾多社區貢獻者的推動下，Spark

這些組件按照容器的標準（比如Docker）進行封裝，并在微服務的框架下形成并行數據庫的管理系統（比如通過K8s或者Mesos）。服務發 現、配置管理、健康管理、鑒權管理由運行框架實現，從而達到各個組件高可用、松耦合、屏蔽