本文將從邏輯結構的角度對Ceph進行分析。

分析開源項目，時常遇到的一個問題就是資料不足。有時間寫代碼的大牛們通常是都是沒有時間或者根本不屑于寫文檔的。而不多的文檔通常又是使用手冊之類的東西。即便偶爾有設計文檔通常也是語焉不詳。在...

本文將對Ceph的基本情況進行概要介紹，以期讀者能夠在不涉及技術細節的情況下對Ceph建立一個初步印象。

Kubernetes是Google開源的容器集群管理系統。前幾天寫的 分布式服務框架的4項特性 中提到一個良好的分布式服務框架需要實現

最近業界有很多技術和產品都認為屬于內存計算的范疇，由于我個人也從事于內存計算產品的研發，所以想借個機會，跟各位聊聊到底什么是內存計算技術，以及比較一些現在兩種比較主流的內存計算技術Apache ...

MapReduce是一種分布式計算模型，由Google提出，主要用于搜索領域，解決海量數據的計算問題.對于業 界的大數據存儲及分布式處理系統來說Hadoop2提出的新MapReudce就是YA...

本文主要講述使用 hive 的實踐，業務不是關鍵，簡要介紹業務場景，本次的任務是對搜索日志數據進行統計分析。 集團搜索剛上線不久，日志量并不大 。這些日志分布在 5 臺前端機，按小時保存，并以...

Hive學習的思維導圖

Pig是一種探索大規模數據集的腳本語言。 pig是在HDFS和MapReduce之上的數據流處理語言，它將數據流處理翻譯成多個map和reduce函數，提供更高層次的抽象將程序員從具體的編

Spark是UC Berkeley AMP lab所開源的類Hadoop MapReduce的通用的并行計算框架，Spark基于map reduce算法實現的分布式計算，擁有Hadoop Map...

在Hadoop中執行的任務有時候需要把多個Map/Reduce作業連接到一起，這樣才能夠達到目的。[1]在Hadoop生態圈中，有一種相對比較 新的組件叫做Oozie[2]，它讓我...

做項目的時候遇到一個問題，在Mapper和Reducer方法中處理目標數據時，先要去檢索和匹配一個已存在的標簽庫，再對所處理的字段打標簽。因為標簽庫不是很大，沒必要用HBase。我的實現方法是把...

本文先從通過一個最簡單的 RMI 服務與調用示例，讓讀者快速掌握 RMI 的使用方法，然后指出 RMI 的局限性，最后筆者對此問題提供了一種簡單的解決方案，即使用 ZooKeeper 輕松解決 ...

Curator提供了一套Java類庫， 可以更容易的使用ZooKeeper。 ZooKeeper本身提供了Java Client的訪問類，但是API太底層，不宜使用， 容易出錯。 Curator...

1.比如我們輸出的mapreduce結果，需要進入下一個mapreduce，該怎么解決？可以使用迭代式 2.那么什么是迭代式? 3.什么是依賴式？ 4.什么是鏈式？ 5.三種模式各自的應用場景是什么？

SmartDataCenter (SDC) 是一個開源的云管理平臺，提供下一代基于容器、面向服務架構的多數據庫中心管理。其重點是為了簡化安裝和管理。目前 Joyent 公有云和很多私有云都使用該...

1、在Hive Select查詢中一般會掃描整個表內容，會消耗很多時間做沒必要的工作。有時候只需要掃描表中關心的一部分數據，因此建表時引入了partition概念。

一直對zookeeper的應用和原理比較迷糊，今天看一篇文章，講得很通透，分享如下：

CloudFoundry是一個標桿性的項目，架構設計上有很多值得借鑒之處。從CloudFoundry官網摘了一張圖，我們以此剖析各個組件的作用。

Dynomite 是 Netflix 的開源作品，靈感來自于 Dynamo whitepaper ，是一個輕量級、分布式的 Dynamo 層，用于不同的 K/V 存儲和協議。