80/20 法則通常被認為是源于意大利經濟學家維爾弗雷多·帕累托。帕累托出生于1848年，他是（至少被認為是）占領運動的早期成員之一。他發現意大利國家財富的 80%是掌握在幾乎少于20%的人口手...

Databricks Spark 知識庫

摘要：CoreOS是一個采用了高度精簡的系統內核及外圍定制的操作系統。ThoughtWorks的軟件工程師林帆將帶來“行走在云端：構建CoreOS集群”系列文章，介紹CoreOS的精華和推薦的實...

Hadoop RPC使用方法示例

分布式計算是現代計算和通信系統的基礎。在大規模網絡系統方面的一個例子是互聯網，而在多處理器方面的一個例子則是新式多核筆記本電腦。下面的這些 講演材料介紹了分布式計算的原理，重點圍繞設計分布式系統...

對于一個業務系統，如何高效、平穩地使用數據庫是每一個開發人員都會遇到的問題，OpenStack 也不例外，以 OpenStack 的虛擬網絡組件 Neutron 為例，其數據庫涉及幾百張表...

hadoop和spark集群的搭建，主要用到了hadoop2.5.2、spark1.2.0、scala2.11.4

disk42 是一個開源的在線云存儲系統，通過文件同步和分享、文件加密功能。服務器端采用 C 開發。同時提供基于 Qt 開發的桌面客戶端。該項目依賴 Nginx、MariaDB 以及部分依賴 S...

寫了一個關于zookeepeer應用的簡單demo 服務端定時的向zookeeper集群注冊，客戶端監聽zookeeper服務節點變化

對于大多數的大數據而言，實時性是其所應具備的重要屬性，信息的到達和獲取應滿足實時性的要求，而信息的價值需在其到達那刻展現才能利益最大化，例如電商網站，網站推薦系統期望能實時根據顧客的點擊行為分析...

在文章《 MapReduce原理與設計思想》中，詳細剖析了MapReduce的原理，這篇文章則通過實例重點剖析MapReduce

【編者的話】Clay.io基于Docker來管理服務器日志，架構組合是Docker+Logstash+ElasticSearch，文章對各個工具進行了簡單介紹。Clay.io還開源了Docker...

Docker 是最近相當熱門的一個名詞，它是一個基于 Linux Container 的輕量化的虛擬技術，而微軟也相當積極與 Docker 合作，在 Azure 上支持這個火熱的技術，并且提供簡...

Ubuntu編譯Hadoop編碼異常總結

當一個Web系統從日訪問量10萬逐步增長到1000萬，甚至超過1億的過程中，Web系統承受的壓力會越來越大，在這個過程中，我 們會遇到很多的問題。為了解決這些性能壓力帶來問題，我...

看到《Docker —— 從入門到實踐》中文版附錄一：命令查詢里有「一張圖總結 Docker 的命令」的圖，一時興起，就嘗試重畫一張圖，把所有指令都排進去。

Gearpump是一套輕量級的大數據實時計算引擎，是基于Akka actor框架之上的一種流式計算引擎，并且借鑒了目前業界主流的實時計算引擎，比如 MillWheel, Storm, Spark...

Hive是一個基于Docker的共享計算能力的工具，用戶只需要在自己的機器上啟動Docker進程并提交到Hive平臺即可。

Apache Twill 是一個 Apache Hadoop YARN 的抽象層，減少了開發分布式應用程序的復雜度，允許開發者把精力放在應用邏輯上。Apache Twill 可以讓你向使用線程一...

Tigon 是一個開源的、實時的、低延遲、高吞吐量的流處理框架。基于 Apache Hadoop 和 Apache HBase. 構建。Tigon 嚴重依賴開源項目 Tephra 和 Apac...