Spark Streaming 源碼解析系列

本系列內容適用范圍：


2015.12.05 update, Spark 1.6 全系列 √ (1.6.0-preview，尚未正式發布)
2015.11.09 update, Spark 1.5 全系列 √ (1.5.0, 1.5.1, 1.5.2)
2015.07.15 update, Spark 1.4 全系列 √ (1.4.0, 1.4.1)
2015.04.17 update, Spark 1.3 全系列 √ (1.3.0, 1.3.1)</pre> 

概述 

0.1 Spark Streaming 實現思路與模塊概述 

</li>
模塊 1：DAG 靜態定義 

1.1 DStream, DStreamGraph 詳解 
1.2 DStream 生成 RDD 實例詳解 
</ul>
</li>
模塊 2：Job 動態生成 

2.1 JobScheduler, Job, JobSet 詳解 
2.2 JobGenerator 詳解 
</ul>
</li>
模塊 3：數據產生與導入 

3.1 Receiver 分發詳解 
3.2 Receiver, ReceiverSupervisor, BlockGenerator, ReceivedBlockHandler 詳解 
3.3 ReceiverTraker, ReceivedBlockTracker 詳解 
</ul>
</li>
模塊 4：長時容錯 

預計 12.134.1 Executor 端長時容錯詳解 
預計 12.134.2 Driver 端長時容錯詳解 
</ul>
</li>
StreamingContext 

預計 12.205.1 StreamingContext 詳解 
</ul>
</li>
</ul>
Spark Streaming 史前史(1) 
作為跑在商業硬件上的大數據處理框架，Apache Hadoop 在誕生后的幾年內（2005~今）火的一塌糊涂，幾乎成為了業界處理大數據的事實上的標準工具： 
 
Spark Streaming 史前史(2) 
不過大家逐漸發現還需要有單獨針對流式數據（其特點是源數據實時性高，要求處理延遲低）的處理需求；于是自 2010 年起又流行起了很多通用流數據處理框架，這種與 Hadoop 等批處理框架配合使用的“批+實時”的雙引擎架構又成為了當前事實上的標準： 
 
Spark Streaming 誕生 
 
 
本系列文章，就來詳解發布于 2013 年的 Spark Streaming。 
https://github.com/proflin/CoolplaySpark