今天早上一同事微信說奇虎360開源了一套配置管理系統。 地址在這： https://github.com/Qihoo360/QConf 。 正好我們之前也做了一套配管系統，于是點進去看了看，基于...

【譯者預讀】面對海量小文件的存儲和檢索，Google發表了GFS，淘寶開源了TFS，而Facebook又是如何應對千億級別的圖片存儲、每秒百萬級別的圖片查詢？Facebook與同樣提供了海量圖片...

Apache Hadoop 2.6.0安裝部署

Apache Storm是一個免費、開源的分布式實時計算系統，不久前剛剛升級為Apache頂級項目。近日，該項目創建者Nathan Marz撰文回顧了Storm的發展歷史以及相關的經驗教訓。他認...

數據源： 除該種方法之外，還可以分為離線數據、近似實時數據和實時數據。按照圖中的分類其實就是說明了數據存儲的結構，而特別要說的是流數據，它的核心就是數據的連續性和快速分析性；

3月31日是 Spark 五周年紀念日，從第一個公開發布的版本開始，Spark走過了不平凡的5年：從剛開始的默默無聞，到13年的鵲起，14年的大爆發。Spark核心之上有分布式的機器學習，SQL...

Apache Spark是一個圍繞速度、易用性和復雜分析構建的大數據處理框架。最初在2009年由加州大學伯克利分校的AMPLab開發，并于2010年成為Apache的開源項目之一。 與Hado...

今天談談分布式事務的時序問題。在說這個問題之前首先說說這為什么是個問題。

三臺機器，centos6.5， master、slave1、slaver2分布式安裝hadoop1.2

Paracel是豆瓣開發的一個分布式計算框架，它基于參數服務器范式，最初是為機器學習算法設計的。 Paracel支持數據和模型的并行，為用戶提供簡單易用的通信接口，比mapreduce式的系統要...

Yelp工程師團隊 表示，面對團隊和代碼庫規模不斷增長的情況，他們通過實踐向面向服務架構遷移，得以使開發過程同步具備擴展能力，并且保持了快速的軟件交付。這一切取決于以下因素，包括對團隊灌輸分布式...

用了一段時間Storm后的筆記。發現可以記的東西不多，證明Storm挺簡單的，你只要遵循一些簡單的接口與原則，就能寫出大規模實時消息處理的程序。

hadoop安裝配置

Tera 是一個高性能、可伸縮的數據庫系統，被設計用來管理搜索引擎萬億量級的超鏈與網頁信息。為實現數據的實時分析與高效訪問，我們使用按行鍵、列名和時間戳全 局排序的三維數據模型組織數據，使用多級...

最近團隊中有分析的場景，用到了JStorm來做數據的實時分析，于是花時間對于一些概念做了了解。

ZooKeeper 是一個分布式的，開放源碼的分布式應用程序協調服務，它包含一個簡單的原語集，分布式應用程序可以基于它實現同步服務，配置維護和命名服務等。 Zookeeper是hadoop...

zookeeper是一個開源分布式的服務,它提供了分布式協作,分布式同步,配置管理等功能. 其實現的功能與google的chubby基本一致.zookeeper的官方網站已經寫了一篇非常經典的概...

在hadoop2中新的NameNode不再是只有一個，可以有多個（目前只支持2個）。每一個都有相同的職能。 一個是active狀態的，一個是standby狀態的。當集群運行時，只有active...

本文作者通過ZooKeeper與Eureka作為 Service發現服務（注：WebServices 體系中的UDDI就是個發現服務）的優劣對比，分享了Knewton在云計算平臺部署服務的經驗。...

RDD是Spark中的抽象數據結構類型，任何數據在Spark中都被表示為RDD。從編程的角度來看，RDD可以簡單看成是一個數組。和普通數組 的區別是，RDD中的數據是分區存儲的，這樣不同分區的數...