DirectKafkaInputDStream 只在 driver 端接收數據，所以繼承了 InputDStream，是沒有 receivers 的在結合 Spark Streaming 及 K...

如果在使用App時遇到閃退，你可能會選擇卸載App、到應用商店怒斥開發者等方式來表達不滿。但開發者也同樣感到頭疼，因為崩潰可能意味著用戶流失、營收下滑。為了降低崩潰率，進而提升App質量，App...

隨著用戶使用天數的增加，不管你的業務是擴大還是縮減了，為什么你的大數據中心架構保持線性增長的趨勢？很明顯需要一個穩定的基本架構來保障你的業務線。當你的客戶處在休眠期，或者你的業務處在淡季，你增加...

此列子雖然簡單，但是其可以使用Spark解決實際問題。我們可以計算Twitter上主題趨勢。

ElasticSearch 毫秒級的查詢響應時間還是很驚艷的。其優點有： 優秀的全文檢索能力 高效的列式存儲與查詢能力 數據分布式存儲(Shard 分片)

Spark 1.6發布后，官方聲稱流式狀態管理有10倍性能提升。這篇文章會詳細介紹Spark Streaming里新的流式狀態管理。

之前有說過要設計一個工作流調度器。開發一個完善的工作流調度器應該并不是一件簡單的事情。但是通過Spark Streaming(基于Transfomer架構的理念)，我們可能能簡化這些工作。我在這...

spark streaming從1.2開始提供了數據的零丟失，想享受這個特性，需要滿足如下條件：

核心觀點： 服務的本質是數據的流轉與變換.數據的變換依賴于數據的流轉，只有流轉的數據才能夠被變換。基于這個理念，我們提出了Transformer架構。

源文件放在github，隨著理解的深入，不斷更新，如有謬誤之處，歡迎指正。 原文鏈接https://github.com/jacksu/utils4s/blob/master/spark-kno...