物聯網領域近期如火如荼，互聯網和傳統公司爭相布局物聯網。作為物聯網領域數據存儲的首選，時序數據庫也越來越多進入人們的視野，而早在2016年7月，百度云在其天工物聯網平臺上發布了國內首個多租戶的分...

大數據的浪潮仍在繼續。它滲透到了幾乎所有的行業，信息像洪水一樣地席卷企業，使得軟件越發龐然大物，比如Excel看上去就變得越來越笨拙。數據處理不再無足輕重，并且對精密分析和強大又實時處理的需要變...

在分布式系統中，服務與服務之間依賴錯綜復雜，一種不可避免的情況就是某些服務將會出現失敗。Hystrix是一個庫，它提供了服務與服務之間的容錯功能，主要體現在延遲容錯和容錯，從而做到控制分布式系統...

Google的三篇論文影響了很多很多人，也影響了很多很多系統。這三篇論文一直是分布式領域傳閱的經典。根據MapReduce，于是我們有了Hadoop；根據GFS，于是我們有了HDFS；根據Big...

在分布式領域中存在著三種類型的消息投遞語義，分別是：最多一次（at-most-once）、至少一次（at-least-once）和恰好一次（exactly-once）。本文作者介紹了一個利用Ka...

Apache Spark中，對Block的查詢、存儲管理，是通過唯一的Block ID來進行區分的。所以，了解Block ID的生成規則，能夠幫助我們了解Block查詢、存儲過程中是如何定位Bl...

spark 調度器分為兩個部分， 一個是 DagScheduler， 一個是 TaskScheduler， DagScheduler 主要是用來把一個 Job 根據寬依賴劃分為多個Stage（階...

應用開發時的常規做法，是調用日志系統的API進行日志的記錄，日志的具體記錄方式，通過日志系統實現庫對應的配置文件進行配置，比如使用log4j2的話，可能就是 log4j2.xml 文件，日志通常...

分布式調度在互聯網企業中占據著十分重要的作用，尤其是電子商務領域，由于存在數據量大、高并發的特點，對數據處理的要求較高，既要保證高效性，也要保證準確性和安全性，相對比較耗時的業務邏輯往往會從中剝...

最近在學習zookeeper原理的時候了解到了paxos算法,看了幾篇文章之后還是感覺有些迷糊,后來看了知行學社的 paxos視頻 才對這個算法有了一定的了解,這里就做一下總結.

在支付、交易、訂單等強一致性系統中，我們需要使用分布式事務來保證各個數據庫或各個系統之間的數據一致性。

對Spark/Hadoop這樣的大數據系統來講，數據量大并不可怕，可怕的是數據傾斜。

Spark 作為一個基于內存的分布式計算引擎，其內存管理模塊在整個系統中扮演著非常重要的角色。理解 Spark 內存管理的基本原理，有助于更好地開發 Spark 應用程序和進行性能調優。本文旨在...

Spark 作為一個基于內存的分布式計算引擎，其內存管理模塊在整個系統中扮演著非常重要的角色。理解 Spark 內存管理的基本原理，有助于更好地開發 Spark 應用程序和進行性能調優。本文旨在...

分布式消息系統作為實現分布式系統可擴展、可伸縮性的關鍵組件，需要具有高吞吐量、高可用等特點。而談到消息系統的設計，就回避不了兩個問題：

在又拍云，即使是 應用層服務 也依賴到其他服務，而那些服務又依賴到了更多服務。當一個接口超時時，定位接口的性能瓶頸是困難的。

近日，Apache軟件基金會宣布， Apache Beam 成功孵化，成為該基金會的一個新的頂級項目，基于Apache V2許可證開源。

Spark上開發的應用程序都是由一個driver programe構成，這個所謂的驅動程序在Spark集群通過跑main函數來執行各種并行操作。集群上的所有節點進行并行計算需要共同訪問一個分區元...

對于希望監視復雜的 微服務架構 系統的組織，分布式追蹤正在快速成為一種不可或缺的工具。Uber工程團隊的開源分布式追蹤系統 Jaeger 自2016年起，在公司內部實現了大范圍的運用，已經集成于...

對于使用 IBM? Security Guardium? 實現數據安全和合規性的企業而言，所收集的海量審計數據可能給他們帶來挑戰。通過對 Guardium 使用 SonarG 大數據解決方案，企...