本文聚焦Apache Spark入門，了解其在大數據領域的地位，覆蓋Apache Spark的安裝及應用程序的建立，并解釋一些常見的行為和操作。

上周在看豆瓣的時候，看到有豆列推薦類似豆瓣250的電影，剛好最近在學Berkeley 的Scalable Machine Learning這門課程，接觸了下Spark的基本的操作，然后就想要不然...

一致性算法是用來解決一致性問題的,那么什么是一致性問題呢? 在分布式系統中,一致性問題(consensus problem)是指對于一組服務器,給定一組操作,我們需要一個協議使得最后它們的結果達...

Zookeeper 分布式服務框架是 Apache Hadoop 的一個子項目，它主要是用來解決分布式應用中經常遇到的一些數據管理問題，如：統一命名服務、狀態同步服務、集群管理、分布式應用配置項...

介紹:這是一篇介紹在動態網絡里面實現分布式系統重構的paper.論文的作者(導師)是MIT讀博的時候是做分布式系統的研究的,現在在NUS帶學生,不僅僅是分布式系統,還有無線網絡.如果感興趣可以去...

分布式存儲泛指存儲存儲和管理數據的系統， 與無狀態的應用服務器不同， 如何處理各種故障以保證數據一致，數據不丟， 數據持續可用， 是分布式存儲系統的核心問題，也是極具挑戰的問題。 本文總結了分布...

通常我們對一個系統進行性能優化無怪乎兩個步驟——性能監控和參數調整，本文主要分享的也是這兩方面內容。

首先，說說我們的場景，訂單服務是做成集群的，當兩個以上結點同時收到一個相同訂單的創建指令，這時并發就產生了，系統就會重復創建訂單。等等......場景。這時，分布式共享鎖就閃亮登場了。

Hadoop在使用原理上基本上遵照了Map、Reduce這樣的一種模式進行項目的實際開發與交互，將一個個任務分解成映射與合并兩種方式，然而通過映射進行分類與簡化，從而產生部分歸并結果，然后對同類...

HDFS 是Hadoop 項目中的文件系統。是Hadoop 框架的底層實現部分， 具有高傳輸率、高容錯率等特點， 并且以流的形式訪問文件系統中的數據，從而解決訪問速度和安全性等問題，實現海量數據的存儲管理。

在一臺高性能PC服務器上，使用ceph做虛擬機鏡像的存儲。在做壓力測試的情況下，出現了該服務器所有虛擬機不能訪問的故障。

本文將講述如何使用OpenStack創建并管理Docker，有3種流行的使用方法，使用的分別是Nova Docker驅動，Heat Docker插件，以及Magnum。這篇文章分成2部分，第一部...

總體思路，準備主從服務器，配置主服務器可以無密碼SSH登錄從服務器，解壓安裝JDK，解壓安裝Hadoop，配置hdfs、mapreduce等主從關系。

我們開發Ceph,一個分布式文件系統,它提供了優秀的性能、可靠性和可伸縮性。Ceph通過用一個偽隨機數據分布函數(CRUSH)替代分布 表來最大化的分離數據與元數據管理，這個算法用于異構和動態不...

由于公司項目需要，最近開始學習一下分布式存儲相關知識，確定使用FastDFS這個開源工具。利用周末的時間在虛擬機上搭建了分布式存儲系統，在搭建過 程中，發現網上的資料說的并不是很全，...

CloudStack是一個開源的具有高可用性及擴展性的云計算平臺。目前Cloudstack支持管理大部分主流的hypervisors，如 KVM，XenServer，VMware，Oracle ...

Spark功能還是蠻強的，安裝的東西可是不少，好在搞完一次就可以一直用（除非用不上）。這里介紹安裝需要的軟件和步驟。不同機器可能還有些設置不一樣的，需要自己去摸索，畢竟這個是開源軟件，好事是有問...

Spark是近年來發展較快的分布式并行數據處理框架，可以與Hadoop聯合使用，增強Hadoop的性能。同時，Spark還增加了內存緩存、流數據處理、圖數據處理等更為高級的數據處理能力。這里簡單...

Zookeeper 分布式服務框架是 Apache Hadoop 的一個子項目，它主要是用來解決分布式應用中經常遇到的一些數據管理問題，如：統一命名服務、狀態同步服務、集群管理、分布式應用配置項...

這個 Spark Streaming 樣例是一個可持久化到Hadoop近實時會話的很好的例子。 Spark Streaming 是Apache Spark 中最有趣的組件之一。你用Spa...