《Spark官方文檔》集群模式概覽

集群模式概覽

本文簡要描述了Spark在集群中各個組件如何運行。想了解如何在集群中啟動Spark應用，請參考 application submission guide 。

組件

Spark應用在集群上運行時，包括了多個獨立的進程，這些進程之間通過你的主程序（也叫作驅動器，即：driver）中的SparkContext對象來進行協調。

特別要指出的是，SparkContext能與多種集群管理器通信（包括：Spark獨立部署時自帶的集群管理器，Mesos或者YARN）。一旦連接上集群管理器，Spark會為該應用在各個集群節點上申請執行器（executor），用于執行計算任務和存儲數據。接下來，Spark將應用程序代碼（JAR包或者Python文件）發送給所申請到的執行器。最后SparkContext將分割出的任務（task）發送給各個執行器去運行。

這個架構中有幾個值得注意的地方：

1. 每個Spark應用程序都有其對應的多個執行器進程，執行器進程在整個應用程序生命周期內，都保持運行狀態，并以多線程方式運行所收到的任務。這樣的好處是，可以隔離各個Spark應用，從調度角度來看，每個驅動器可以獨立調度本應用程序內部的任務，從執行器角度來看，不同的Spark應用對應的任務將會在不同的JVM中運行。然而這種架構同樣也有其劣勢，多個Spark應用程序之間無法共享數據，除非把數據寫到外部存儲中。
2. Spark對底層的集群管理器一無所知。只要Spark能申請到執行器進程，并且能與之通信即可。這種實現方式可以使Spark相對比較容易在一個支持多種應用的集群管理器上運行（如：Mesos或YARN）
3. 驅動器（driver）程序在整個生命周期內必須監聽并接受其對應的各個執行器的連接請求（參考： spark.driver.port and spark.fileserver.port in the network config section ）。因此，驅動器程序必須能夠被所有worker節點訪問到。
4. 因為集群上的任務是由驅動器來調度的，所以驅動器應該和worker節點距離近一些，最好在同一個本地局域網中。如果你需要遠程對集群發起請求，最好還是在驅動器節點上啟動RPC服務，來響應這些遠程請求，同時把驅動器本身放在集群worker節點比較近的機器上。

集群管理器類型

Spark支持以下3中集群管理器：

• Standalone  – Spark自帶的一個簡單的集群管理器，這使得啟動一個Spark集群變得非常簡單。
• Apache Mesos  – 一種可以運行Hadoop MapReduce或者服務型應用的通用集群管理器。
• Hadoop YARN  – Hadoop 2的集群管理器。

另外，使用Spark的 EC2 launch scripts 可以輕松地在Amazon EC2上啟動一個獨立集群。

提交Spark應用

利用spark-submit腳本，可以向Spark所支持的任意一種集群提交應用。詳見： application submission guide

監控

每一個驅動器（driver）都有其對應的web UI，默認會綁定4040端口（多個并存會按順序綁定4041、4042…），這個web UI會展示該Spark應用正在運行的任務（task）、執行器（executor）以及所使用的存儲信息。只需在瀏覽器種打開http://<driver-node>:4040即可訪問。 monitoring guide 詳細描述了其他監控選項。

作業調度

Spark可以在應用程序 之間 （集群管理器這一層面）和 之內 （如：同一個SparkContext對象運行了多個計算作業）控制資源分配。 job scheduling overview 描述了更詳細的信息。

概念和術語

下表簡要說明了集群模式下的一些概念和術語：

<th>含義</th>

</tr>

</thead>

<td>Spark上運行的應用。包含了驅動器（driver）進程（一個）和集群上的執行器（executor）進程（多個）</td>

</tr>

</tbody>

</table> </div>