Spark成功的實現了當年的承諾，讓數據處理變得更容易，現在，雄心勃勃的Databricks公司展開了一個新的愿景：讓深度學習變得更容易。 當然牛好吹，也是要做些實際行動的，所有便有了 spar...

大數據時代，中大型企業數據的爆發式增長，幾乎每天都能產生約 100GB 到 10TB 的數據。而企業數據分系統構建與擴張，導致不同應用場景下大數據冗余嚴重。行業亟需一個高效、統一的融合數倉，從海...

Apache Spark中，對Block的查詢、存儲管理，是通過唯一的Block ID來進行區分的。所以，了解Block ID的生成規則，能夠幫助我們了解Block查詢、存儲過程中是如何定位Bl...

spark 調度器分為兩個部分， 一個是 DagScheduler， 一個是 TaskScheduler， DagScheduler 主要是用來把一個 Job 根據寬依賴劃分為多個Stage（階...

對Spark/Hadoop這樣的大數據系統來講，數據量大并不可怕，可怕的是數據傾斜。

Spark 作為一個基于內存的分布式計算引擎，其內存管理模塊在整個系統中扮演著非常重要的角色。理解 Spark 內存管理的基本原理，有助于更好地開發 Spark 應用程序和進行性能調優。本文旨在...

Spark 作為一個基于內存的分布式計算引擎，其內存管理模塊在整個系統中扮演著非常重要的角色。理解 Spark 內存管理的基本原理，有助于更好地開發 Spark 應用程序和進行性能調優。本文旨在...

Spark上開發的應用程序都是由一個driver programe構成，這個所謂的驅動程序在Spark集群通過跑main函數來執行各種并行操作。集群上的所有節點進行并行計算需要共同訪問一個分區元...

本文主要幫助初學者快速了解Spark，不會面面俱到，但核心一定點到。

Apache Spark 是用于大規模數據處理的快速和通用引擎，它運行在 Hadoop，Mesos，可以離線或云端運行，具有高速、可擴展等特點。近年來，在 IBM 等大公司和眾多社區貢獻者的推動...

英特爾今天宣布推出開源 BigDL，一個用于 Apache Spark 開源集群計算框架的分布式深度學習庫。

大規模機器學習工程上最大的挑戰是模型的規模。在計算廣告，推薦系統的場景下，運用Logistic Regression算法時常需要做特征交叉。原來兩組，三組特征的數量可能并不是太大，但是通過交叉后...

Spark revolves around the concept of a resilient distributed dataset (RDD), which is an immutable...

搭建Spark源碼研讀和代碼調試的開發環境

工業和研究中數據的大幅增長為計算機科學帶來了巨大的機會與挑戰。由于數據大小超過了單臺機器的能力，用戶需要新的系統將計算擴展到多個節點。因此，針對不同計算工作負載的新集群編程模型已呈爆炸式增長。

用戶行為路徑分析是互聯網行業特有的一類數據分析方法，它主要根據每位用戶在App或網站中的點擊行為日志，分析用戶在App或網站中各個模塊的流轉規律與特點，挖掘用戶的訪問或點擊模式，進而實現一些特定...

本篇文章中我們將學習如何使用Apache Spark streaming，Kafka，Node.js，Socket.IO和Highcharts構建實時分析Dashboard。

市場上很多玩家已經建造了MapReduce工作流用來日常處理兆兆字節的歷史數據。但是誰愿意等待24小時來拿到更新后的分析報告？這篇文章會向你介紹 Lambda Architecture ，它被設...

大數據處理技術越來越火,云計算平臺也如火如荼,二者猶如 IT 列車的兩個車輪,相輔相成,高速發展。如果我們將大數據處理平臺比作一個可能會得病的人的話，那么日志分析系統就是給病人診斷的醫生。由于集...

圖結構可有效表示稀疏矩陣，因而圖數據分析可用于實現大數據分析。本文是Info對該書作者的訪談，內容包括圖數據及分析技術、GraphX高效程序開發、圖數據分析的趨勢等。