Spark本地開發環境搭建

本文使用Scala2.10.6，sbt。請自行提前裝好。

設置SSH，本地免密碼登錄

因為Spark master需要ssh到Spark worker中執行命令，所以，需要免密碼登錄。

執行

ssh localhost

確認一下，如果不需要密碼登錄就說明OK了。

Tips： Mac下可能ssh不到本地，請檢查你sharing設置：

下載Spark

http://spark.apache.org/downloads.html

我選擇的是spark-1.6.0-bin-cdh4.tgz 。看到cdh4(Hadoop的一個分發版本)，別以為它是要你裝Hadoop。其實不然，要看你自己的開發需求。因為我不需要，所以，我只裝Spark。

配置你的Spark slave

我很好奇，worker和slave這個名稱有什么不同？還是因為歷史原因，導致本質上一個東西但是兩種叫法？

在你的Spark HOME路徑下

slaves

文件中有一行

localhost

代表在本地啟動一個Spark worker。

啟動Spark偽分布式

執行JPS驗證Spark啟動成功

? jps
83141 Worker
83178 Jps
83020 Master

打開你的Spark界面

http://localhost:8080

下載Spark項目骨架

為方便我自己開發，我自己創建了一個Spark應用開發的項目骨架。

1. 下載項目骨架： http://git.oschina.net/zacker330/spark-skeleton

2. 項目路徑中執行：

   sbt package

   編譯打包你的spark應用程序。

將你的spark應用程序提交給spark master執行

<SPARK_HOME>/bin/spark-submit \ 
          --class "SimpleApp" \
          --master spark://Jacks-MBP.workgroup:7077 \
              target/scala-2.10/spark-skeleton_2.10-1.0.jar

這個“spark://Jacks-MBP.workgroup:7077”是你在 http://localhost:8080 中看到的

URL

的值

可以看到打印出: hello world