Zookeeper的安裝和配置十分簡單, 既可以配置成單機模式, 也可以配置成集群模式. 下面將分別進行介紹.

Disque是一個內存儲存的分布式任務隊列實現， 它由 Redis 的作者 Salvatore Sanfilippo (@antirez)開發， 目前正處于預覽版（alpha）階段。 本文檔將...

Storm實驗 -- 單詞計數

Ceph從2004年提交了第一行代碼，至今為止已經10年了。這個起源于Sage博士論文，最早致力于開發下一代高性能分布式文件系統的項目，現 在也成為了開源社區眾人皆知的明星項目。特別是隨著云計算...

Geode是一個提供實時且高一致性的分布式數據管理平臺，典型案例是中國鐵路12306售票系統使用Geode管理10個集群節點，在內存中管理2T的熱點數據和10個高可用彈性規模的后備節點。

拖了5天終于看完了兩篇論文，對相關數據分析平臺搭建技術也有了進一步的了解。對自己這幾天的筆記做了一個整理，既是為了方便自己以后查看，也是為以后的實際平臺搭建建立依據。其實感覺還是挺苦逼的，這大過...

微博，一個DAU上億、每日發博量幾千萬的社交性產品，擁有龐大的數據集。如何高效得從如此規模的數據集中挖掘出有價值的信息，以增強用戶粘性，提 高信息傳播速度，就成了重中之重。因此，我們引入了had...

Storm與傳統關系型數據庫 傳統關系型數據庫是先存后計算，而storm則是先算后存，甚至不存 傳統關系型數據庫很難部署實時計算，只能部署定時任務統計分析窗口數據 ...

Druid 是一個用于大數據實時查詢和分析的高容錯、高性能開源分布式系統，旨在快速處理大規模的數據，并能夠實現快速查詢和分析。尤其是當發生代碼部署、機器故障 以及其他產品系統遇到宕機等情況時，D...

個人談談閱讀hadoop源代碼的經驗。 首先，不得不說，hadoop發展到現在這個階段，代碼已經變得非常龐大臃腫，如果你直接閱讀最新版本的源代碼，難度比較大，需要足夠的耐心和時間，所以，如果你...

一說到開源大數據處理平臺，就不得不說此領域的開山鼻祖Hadoop，它是GFS和MapReduce的開源實現。雖然在此之前有很多類似的分布式存儲和計算平臺，但真正能實現工業級應用、降低使用門檻、帶...

提 到大數據分析平臺，不得不說Hadoop系統，Hadoop到現在也超過10年的歷史了，很多東西發生了變化，版本也從0.x進化到目前的2.6版本。我 把2012年后定義成后Hadoop平臺時代，...

Spark中迭代式機器學習算法的數據流可以通過圖2.3來進行理解。將它和圖2.1中Hadoop MR的迭代式機器學習的數據流比較一下。你會發現在Hadoop

HDFS是Hadoop Distribute File System 的簡稱，也就是Hadoop分布式文件系統。

在生產中我們一般希望文件系統能幫我們解決以下問題，如：1.超大數據存儲；2.數據高可用（冗余備份）；3.讀/寫高性能；4.海量數據計算。最好還得支持多平臺多語言，支持高并發。 由于單臺服...

Disconf 可以為各種業務平臺提供統一的配置管理服務。

ZooKeeper 是一個分布式的，開放源碼的分布式應用程序協調服務，它包含一個簡單的原語集，分布式應用程序可以基于它實現同步服務，配置維護和命名服務等。 Zookeeper是hadoop的一個...

什么是tuple? 命名的value序列, 可以理解成Key/value序列, 每個value可以是任何類型, 動態類型不需要事先聲明. Tuple在傳輸中需要序...

0.上傳日志文件到linux中，通過flume將文件收集到hdfs中。

環境：三臺虛擬機，系統是CentOS6.5