Algolia是一家做離線移動搜索引擎的公司，兩年時間構建了世界范圍的分布式網絡。今天為世界12個區域每月20億用戶查詢，平均服務器時間為6.7ms，90%的查詢應答<15ms，不可用率低于十的...

在去年曾經列出了一張應當了解的Hadoop 知識清單。如今2015年也已經少了兩個月，我認為我現在應當檢查一下大家對Hadoop的了解情況，同時在清單內容中增加一些技術。

ZooKeeper 是分布式環境下非常重要的一個中間件，可以完成動態配置推送、分布式 Leader 選舉、分布式鎖等功能。在運維 AliExpress ZooKeeper 服務的一年多來

Hadoop已經通過自身的蓬勃發展證明，它不僅僅是一套用于將工作內容傳播到計算機群組當中的小型堆棧--不，這與它的潛能相比簡直微不足道。這套核心 的價值已經被廣泛證實，目前大量項目如雨后春筍般圍...

臨時順序節點，這種類型的節點有幾下幾個特性： 節點的生命周期和客戶端會話綁定，即創建節點的客戶端會話一旦失效，那么這個節點也會被清除。 每個父節點都會負責維護其子節點創建的先后順序，并且如果...

Impala是Cloudera在受到Google的Dremel啟發下開發的實時交互SQL大數據查詢工具，Impala沒有再使用緩慢的 Hive+MapReduce批處理，而是通過使用與商用并行...

HDFS-RAID 是Facebook基于hadoop-20-append分支(第一代Hadoop)開發的raid方案，對HDFS的修改極少，主要包括為NameNode增加了根據block信息找...

zookeeper 集群安裝和配置

大數據指的是海量數據的分析處理，可能是EB級的數量處理，我們之前也提到過大數據擁有4V特性，Volume（大量）、Velocity（高 速）、Variety（多樣）、Value（價值），對于大數...

繼云計算之后，大數據(Big Data)接棒成為最熱門的科技潮字，和大數據有關的技術和科技接二連三成為科技圈注目的焦點。如果你也關注云端跟大數據的資訊，Hadoop 這個字出現頻率一定挺高的，這...

1 資源調度的目標和價值 1.1 子系統高效調度 任務之間資源隔離，減少爭搶。 任務分配調度時結合資源分配，各個任務分配合理的資源，充分利用系統資源，減少資源利用不充分的問題。 ...

一個輕量化的分布式服務框架，相信這類框架已經不是什么新鮮事物，可用的替代方案有很多這里就不多說了，說一下RSF解決的問題把。

本文一共分為上下兩部分。我們將針對大數據開源工具不同的用處來進行分類，并且附上了官網和部分下載鏈接，希望能給做大數據的朋友做個參考。下面是第一部分。

Storm和Spark Streaming兩個都是分布式流處理的開源框架。但是這兩者之間的區別還是很大的，正如你將要在下文看到的。

什么是大數據 Hadoop介紹-HDFS、MR、Hbase 大數據平臺應用舉例-騰訊 公司的大數據平臺架構

Spark運行過程中資源的申請和釋放一直是源碼分析時需要關注的重點，從資源種類上來說，有CPU、內存、網絡、磁盤，其中前三者會在進程退出時由OS來負責釋放。而占用的磁盤資源，如果Spark自身不...

還在實驗室時，老師就建議看google關于大數據的三篇論文，啃了好長時間還是沒完全理解。也動手搭建了Hadoop集群，運行了wordcount，帶著“Hadoop會火“的指示離開了實驗室。

許多分布式計算系統都可以實時或接近實時地處理大數據流。本文將對三種Apache框架分別進行簡單介紹，然后嘗試快速、高度概述其異同。

Tera實現了按行key、列和時間戳全局排序的三維數據模型，并且針對萬兆網卡和SSD進行了優化，適合海量記錄（萬億量級）的持久存儲和高效隨機訪問。

項目名稱：ProStack 功能：自動化安裝部署帶有HA的 OpenStack 集群。