百度網盤免費提供2TB存儲， 它的存儲量一定是驚人的， 支持它的存儲系統atlas也是相當不錯的。 atlas是一個KV存儲， 支持GET/PUT/DELETE三個接口， 看起來接口簡單， 但要...

Impala是hadoop上交互式MPP SQL引擎， 也是目前性能最好的開源SQL-on-hadoop方案。 如下圖所示， impala性能超過SparkSQL、 Presto、 Hive。

Listener線程，當Server處于運行狀態時，其負責監聽來自客戶端的連接，并使用Select模式處理Accept事件。 同時，它開啟了一個空閑連接（Idle Connection）...

OpenStack是如何做到在三個月內合并900個文檔修改的？我們對待文檔就像對待代碼一樣，并且持續公布了來自多個Git倉庫的評估內容。 通常持續集成（CI）意味著代碼被不斷地測試，與其...

最近將公司的在線業務遷移到Storm集群上，上線后遇到低峰期CPU耗費嚴重的情況。在解決問題的過程中深入了解了storm的內部實現原 理，并且解決了一個storm0.9-0.10版本一直存在的嚴...

趙磊在7月21號的全球架構師峰會深圳站上，做了主題演講:Uber高可用消息系統構建，對于這個熱門主題，高可用架構群展開了熱議，大家對分布式系統中的各種錯誤處理非常感興趣。Tim Yang特邀趙磊...

通過對mfs分布式文件系統中各個模塊的拆分組合，較為詳細且清晰的實現其配置

這是一篇學習筆記。 學習的材料來自Jay Kreps的一篇講Log的博文。 原文很長，但是我堅持看完了，收獲頗多，也深深為Jay哥的技術能力、架構能力和對于分布式系統的理解之深刻所折服。同時...

前篇簡要回顧：前篇文章講到了ZK在回復完成之后進入了接客狀態，跟隨者在監聽客戶端端口的部分接收到客戶端的請求數據包，然后開始對這個包進行處理，接下來進入了ZK對客戶端請求處理流程的核心部分。。。

前篇簡要回顧：在ZooKeeper集群選舉完成之后，各個集群節點各就各位，領導者開始領導、跟隨者開始跟隨，我們已經看到跟隨者建立和領導者的連接，并接受領導者的命令開始恢復，恢復完成之后領導者給了...

在ZooKeeper中QuorumPeer這個類是整個集群的抽象，代表著ZooKeeper的整個集群、其關聯著ZooKeeper集群的重要信息，包括集群狀態、當前ZK節點的狀態、當前ZK節點編號...

文主要討論 Apache Spark 的設計與實現，重點關注其設計思想、運行原理、實現架構及性能調優，附帶討論與 Hadoop MapReduce 在設計與實現上的區別。不喜歡將該文檔稱之為“源...

電商平臺的促銷活動往往意味著技術系統的大升級。今年的618周年大促，京東實現了商品中心、用戶中心和交易中心等平臺化升級。在日前的京東技術 開放日618技術分享專場，多位京東技術專家聯袂解析了京東...

目前開源社區有許多并行計算模型和框架可供選擇，按照實現方式、運行機制、依附的產品生態圈等可以被劃分為幾個類型，每個類型各有優缺點，如果能夠對各類型的并行計算框架都進行深入研究及適當的缺點修復，就...

Hadoop中的NameNode好比是人的心臟，非常重要，絕對不可以停止工作。在hadoop1時代，只有一個NameNode。如果該NameNode數據丟失或者不能工作，那么整個集群就不能恢復了...

ZooKeeper 是一個開源的分布式服務框架，它是Apache Hadoop項目的一個子項目，主要用來解決分布式應用場景中存在的一些問題，如：統一命名服務、狀態同步服務、集群管理、分布式應用配...

摘要 Storm 是一個開源的、大數據處理系統，與其他大數據解決方案的不同之處在于它的處理方式。Hadoop 在本質上是一個批處理系統。數據被引入 Hadoop 文件系統 (HDFS) 并分發到...

ZooKeeper是一個分布式的，開放源碼的分布式應用程序協調服務，是Google的Chubby一個開源的實現，是Hadoop和Hbase的重要組件。它是一個為分布式應用提供一致性服務的軟件，提...

MapReduce是一種分布式計算模型，由Google提出，主要用于搜索領域，解決海量數據的計算問題。 MR由兩個階段組成：Map和Reduce，用戶只需要實現map()和reduce(...

隨著互聯網的發展，數據量的增大，很多對于數據的處理工作（例如一些推薦系統、廣告推送等）都遷移到了云端，也就是分布式計算系統上。衍生了很多牛逼的分布式計算的計算模型，比較著名的就是MapReduc...