Hadoop在使用原理上基本上遵照了Map、Reduce這樣的一種模式進行項目的實際開發與交互，將一個個任務分解成映射與合并兩種方式，然而通過映射進行分類與簡化，從而產生部分歸并結果，然后對同類...

LTS是一個輕量級分布式任務調度框架。有三種角色, JobClient, JobTracker, TaskTracker。各個節點都是無狀態的，可以部署多個，來實現負載均衡，實現更大的負載量, ...

14年雙11大促緩存方案，今天有點閑暇時間，回顧一下當時的思路。

當我們構建服務端應用的時候，都會面臨數據存放的問題。不同的數據類型有不同的存放方式，譬如關系型數據通常使用MySQL來存儲，文檔型數據則會考慮使用MongoDB，而這里，我們僅僅考慮最簡單的kv...

本文我將對一致性算法作介紹，同時談談自己對一致性hash和一般意義上的hash算法的區別

今天談談分布式事務的時序問題。在說這個問題之前首先說說這為什么是個問題。

Algolia是一家做離線移動搜索引擎的公司，兩年時間構建了世界范圍的分布式網絡。今天為世界12個區域每月20億用戶查詢，平均服務器時間為6.7ms，90%的查詢應答<15ms，不可用率低于十的...

Failover是指系統處理故障并恢復的過程，目前大多數分布式系統都實現了自動Failover的機制，即使發生局部失敗也能繼續提供服務。Failover測試則是通過主動注入錯誤，模擬出各種軟硬件...

一個輕量化的分布式服務框架，相信這類框架已經不是什么新鮮事物，可用的替代方案有很多這里就不多說了，說一下RSF解決的問題把。

如今移動互聯網行業呈爆發式發展，隨著業務用戶規模和業務邏輯趨向復雜，后端系統的開發和維護變得越來越困難，目前業界涌現出各種各樣的技術文章 介紹分布式緩存設計、分布式數據庫設計、負載均衡、HA策略...

把分布式系統中各個組件的工作匯總起來，就可以得到一個全面的跟蹤系統。 每個公司都會有一套自己的分布式跟蹤系統。Google的Dapper，Twitter的zipkin，淘寶的鷹眼，新浪的...

還是很多很多年前，做過一個小系統，是一個和支付相關的小系統。因為是一個小系統，所以一切都那么簡單。一臺應用服務器，一臺數據庫服務器；文件、圖片都放在應用服務器上，一切都是那么的平淡，一切都是那么...

分布式計算是現代計算和通信系統的基礎。在大規模網絡系統方面的一個例子是互聯網，而在多處理器方面的一個例子則是新式多核筆記本電腦。下面的這些 講演材料介紹了分布式計算的原理，重點圍繞設計分布式系統...

簡單說，分布式是以縮短單個任務的執行時間來提升效率的，而集群則是通過提高單位時間內執行的任務數來提升效率。 集群主要分為：高可用集群(High Availability Cluster)，...

在移動及云時代，盡管大部分可擴展的問題可以通過云平臺解決，但是服務本身的擴展性挑戰仍然存在。比如一個新的項目，用PHP或JSP實現了基本功 能，部署在Apache或Tomcat等容器上，在業界這...

傳統的運維人員通常只面對幾十或者上百臺的服務器，但在大規模分布式集群中，運維人員面 臨工作任務明顯不同。本文分別闡述服務器數量激增，要求提升全局掌控能力，如何實現系統的自我保護和自動化恢復，大規...

Linux集群主要分成三大類( 高可用集群， 負載均衡集群，科學計算集群)（下面只介紹負載均衡集群） 負載均衡集群(Load Balance Cluster) 負載均衡系統：集群中所...

最近研究分布式數據庫架構，發現排序、分組及分頁讓著實人有點頭疼。現把問題及解決思路整理如下。

摘要：分布式系統需要在數據完整、一致性和性能間做平衡。本文系統介紹了處理分布式數據一致性的技術模型，如：Master-Slave，Master-Master，2PC/3PC，經典的將軍問題，Pa...

Dryad的論文是微軟早在2007年就發布的，Tez的核心思想來源于Dryad，差不多可以算是Dryad的開源實現吧。最近正好看到幾個有趣的項目是基于Tez實現的，于是順便追本溯源，學習了一下D...