Spark 1.2.1穩定版本發布(released)
Spark 1.2.1是一個維護版本( maintenance release) ,其中修復了一些bug,是基于branch-1.2 分支。并且推薦所有的1.2.0的用戶升級到這個穩定版本。此次更新有69位開發者參與。詳細的修復bug信息如下:
1、安全模塊(Security)
給臨時文件的權限加了鎖機制。
2、Spark Core
Netty的shuffle忽略了spark.blockManager.port
配置 (SPARK-4837);
MetricsServlet沒有合理的初始化 (SPARK-4595);
Repl and YARN dependencies are not published to Maven (SPARK-5289);
SparkConf 不是線程安全的(SPARK-5355);
和Spark進行鏈接時出現的字節碼錯誤 (SPARK-2075)
3、SQL
在Hive UDFs中使用CACHE TABLE AS SELECT
失敗 (SPARK-5187);
當對projection 使用select查詢時,屬性是大小寫敏感的(SPARK-4959);
使用當前的metadata queries用Hive 13編譯Spark SQL失敗(SPARK-4908);
當在group by語句和select已經同時使用相同的表達式將會拋出Expression not in GROUP BY
(SPARK-4296)
4、Streaming
Proper file clean up for write ahead logs (SPARK-5147)
Error with existing files during checkpoint recovery (SPARK-4835)
Socket Receiver does not stop when streaming context is stopped (SPARK-2892)
5、PySpark
Parallelizing lists or arrays is slow (SPARK-5224)
Serializer bug when using zip (SPARK-4841)
Support Vector types within a dictionary (SPARK-5223)
來自:http://www.iteblog.com/archives/1266