Spark 1.2.1穩定版本發布(released)

jopen 10年前發布 | 21K 次閱讀 Spark

Spark 1.2.1是一個維護版本( maintenance release) ,其中修復了一些bug,是基于branch-1.2 分支。并且推薦所有的1.2.0的用戶升級到這個穩定版本。此次更新有69位開發者參與。詳細的修復bug信息如下:

1、安全模塊(Security)
給臨時文件的權限加了鎖機制。

2、Spark Core
Netty的shuffle忽略了spark.blockManager.port配置 (SPARK-4837);
MetricsServlet沒有合理的初始化 (SPARK-4595);
Repl and YARN dependencies are not published to Maven (SPARK-5289);
SparkConf 不是線程安全的(SPARK-5355);
和Spark進行鏈接時出現的字節碼錯誤 (SPARK-2075)

3、SQL
在Hive UDFs中使用CACHE TABLE AS SELECT失敗 (SPARK-5187);
當對projection 使用select查詢時,屬性是大小寫敏感的(SPARK-4959);
使用當前的metadata queries用Hive 13編譯Spark SQL失敗(SPARK-4908);
當在group by語句和select已經同時使用相同的表達式將會拋出Expression not in GROUP BY (SPARK-4296)

4、Streaming
Proper file clean up for write ahead logs (SPARK-5147)
Error with existing files during checkpoint recovery (SPARK-4835)
Socket Receiver does not stop when streaming context is stopped (SPARK-2892)

5、PySpark
Parallelizing lists or arrays is slow (SPARK-5224)
Serializer bug when using zip (SPARK-4841)
Support Vector types within a dictionary (SPARK-5223)

來自:http://www.iteblog.com/archives/1266

 本文由用戶 jopen 自行上傳分享,僅供網友學習交流。所有權歸原作者,若您的權利被侵害,請聯系管理員。
 轉載本站原創文章,請注明出處,并保留原始鏈接、圖片水印。
 本站是一個以用戶分享為主的開源技術平臺,歡迎各類分享!