storm的DRPC模式的作用是實現從遠程調用storm集群的計算資源，而不需要連接到集群的某一個節點。OK。那么storm實現DRPC主要是 使用LinearDRPCTopologyBuilder這個類

獲取ZooKeeper安裝包 下載地址：http://apache.dataguru.cn/zookeeper 選擇一個穩定版本進行下載，我這里下載的是zookee...

Pulsar 是 eBay 開源的實時大數據分析平臺。 作為全球性的商務平臺和支付行業領先者，擁有海量的用戶行為數據。 基于現有的hadoop大數據處理，已經不能夠滿足業務上對實時性的需...

zookeeper是一個分布式的，開放源碼的分布式應用程序協調服務，是Google的Chubby一個開源的實現，是Hadoop和Hbase的重要組件。它是一個為分布式應用提供一致性服務的軟件，由...

在Hadoop2.x之后的版本，提出了解決單點問題的方案－－HA（High Available 高可用）。這篇博客闡述如何搭建高可用的HDFS和YARN

Onyx 是一個無中心、支持云、容錯的分布式計算系統 使用 Clojure 編寫

羊年的春晚與往年的春晚一樣，卻又不太一樣。一樣的是服務器君仍要應對全民“DDOS攻擊”，不一樣的是今年無法通過簡單的擴容抵御峰值。今年不但主信息流日常用戶活躍度已經達到了去年春晚的峰值，同時渣浪...

IBM、Oracle、SAP、甚至Microsoft等幾乎所有的大型軟件提供商都采用了Hadoop。然而，當你已經決定要使用Hadoop來處理大數據時，首先碰到的問題就是如何開始以及選擇哪一種產...

在進行數據分析和可視化之前，經常需要先“清洗”數據。這意味著什么？可能有些詞條列表里是“New York City”，而其他人寫成“New York, NY”。然而，你在看到某些模式前得將各種各...

Spark on Yarn分yarn-cluster和yarn-client兩種模式。 本文通過Cluster模式的TaskScheduler實現入手，梳理一遍spark on yarn的大致實現邏輯。

簡述：Hadoop是最著名使用最廣泛的分布式大數據處理框架，它是用Java開發的。 物理主機、虛擬機、虛擬主機這三個就不多說了。我們先在ubuntu里添加一個叫hadoop的用戶

順著昨天spark standalone實現那篇文章繼續扯淡，看看Mesos Scheduler的兩種實現的異同。 對我來說，回過頭再仔細看Spark在這一層的實現，思路又清晰了許多。

本文不打算從源碼分析的角度看standalone如何實現，甚至有的模塊和類在分析中都是忽略掉的。 本文目的是透過spark的standalone模式，看類似spark這種執行模式的系統，...

使用VirtualBox安裝CentOS6.4，存儲為30G，內存為1G，并使用復制克隆出兩個新的虛擬機，這樣就存在3臺虛擬機，設置三臺虛擬機的主機名稱，如：master、slaver1、slaver2

大家好!我是貓大，大家還記得我的好友咪咪(那位想要知道自己養的貓，會不會抓老鼠的那位愛貓人士)嗎?在過去文章什么 ? SVM會賺錢 !中貓大介紹了SVM的概念，以及如何通過LIBSVM，幫助使用...

libvirt配置了librbd的QEMU接口，通過它可以在OpenStack中使用Ceph塊存儲。Ceph塊存儲是集群對象，這意味著它比獨立的服務器有更好的性能。 在Ope...

大數據是一個含義廣泛的術語，是指數據集，如此龐大而復雜的，他們需要專門設計的硬件和軟件工具進行處理。該數據集通常是萬億或EB的大小。這些 數據集收集自各種各樣的來源：傳感器，氣候信息，公開的...

【編者的話】Spotify是一家音樂流媒體服務商，最新的數據顯示他們已經有6000萬用戶。 Spotify內部使用 Apache Storm來構建實時類系統，包括廣告定位、音樂推薦以及數據可視化...

和企業私有云的架構一樣，對企業的大數據平臺，我們很難直接去簡單復制互聯網的海量存儲或計算平臺技術，如Hadoop、HBase、 Spark；因為這些技術搭建的只是一個數據的基礎設施，要在傳統企業...

Flume 是 Cloudera 提供的日志收集系統，具有分布式、高可靠、高可用性等特點，對海量日志采集、聚合和傳輸，Flume 支持在日志系統中定制各類數據發送方，同時，Flume提供對數據進...